全新LLM多智能体协调基准：多数模型表现不佳
ktessera · reddit · 2026-07-14
研究团队提出了一个全新的基准测试，用于评估语言模型在长周期、开放式世界中的多智能体协调能力。在该环境中，智能体需要相互配合完成探索、交流、资源交易、工具制造、建筑和战斗等复杂任务。
核心发现：
- 整体表现不佳：测试的 13 个主流 LLM 平均归一化回报仅为约 6%。
- Gemini 表现亮眼：在最困难的设置下，零样本的 Gemini 3.1 Pro 表现优异，其效果堪比经过 10 亿步环境训练的最强 MARL（多智能体强化学习）智能体。
- 协调是核心瓶颈：研究发现，除了长周期的任务执行能力外，智能体间的协调沟通是另一大关键瓶颈。消融实验表明，通信机制对协调效果的影响最大。
项目已开源并提供交互式轨迹演示。
所属事件:多项研究揭示LLM多智能体协作表现不佳(6 条相关)→
「研究」频道最新
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- 本周热议的数学猜想到底关我什么事?一张普通人视角清单 — koltregaskes · 2026-09-11
- 用果蝇大脑连接组造了个 LLM,作者放出在线 demo — ngxson · 2026-09-11
- 社会学家 Harry Collins：LLM 无法发明新语言，做不了前沿科学 — whoamisri · 2026-09-11
- 「Waymo 效应」：AI 正在悄悄让科研协作变少 — JohnHammersley · 2026-09-11
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11