全新LLM多智能体协调基准：多数模型表现不佳
ktessera · reddit · 2026-07-14
研究团队提出了一个全新的基准测试，用于评估语言模型在长周期、开放式世界中的多智能体协调能力。在该环境中，智能体需要相互配合完成探索、交流、资源交易、工具制造、建筑和战斗等复杂任务。
核心发现：
- 整体表现不佳：测试的 13 个主流 LLM 平均归一化回报仅为约 6%。
- Gemini 表现亮眼：在最困难的设置下，零样本的 Gemini 3.1 Pro 表现优异，其效果堪比经过 10 亿步环境训练的最强 MARL（多智能体强化学习）智能体。
- 协调是核心瓶颈：研究发现，除了长周期的任务执行能力外，智能体间的协调沟通是另一大关键瓶颈。消融实验表明，通信机制对协调效果的影响最大。
项目已开源并提供交互式轨迹演示。
所属事件:多项研究揭示LLM多智能体协作表现不佳(6 条相关)→
「研究」频道最新
- 斯坦福 PaperFormalizer：把论文自动转成 Lean 验证版本 — StanfordUniversity · 2026-10-27
- JockeyBench：用日本赛马评测 LLM Agent 的重复事件预测能力 — Zhongwei Xie · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27
- TRL 异步 GRPO 训练器默认启用 score centering + masked importance sampling — _lewtun · 2026-10-27
- AutoResearch agent 生成怪异训练曲线,团队深挖失败模式反成研究素材 — ZimingLiu11 · 2026-10-27
- EMNLP 2026 两篇论文：小模型实体追踪超人类、类人短暂记忆研究 — GretaTuckute · 2026-10-27