新基准揭示LLM协作仍是瓶颈
weballergy · x · 2026-07-15
这条转发讨论了一篇新论文：作者用一个新的长时程开放世界基准，评估 13 个现代 LLM 代理在协作探索、沟通、交易资源、制作工具、建造和战斗等任务中的表现。
主要结论是：
- 大多数代理的协作能力仍然很弱，平均只有约 6% 的标准化回报。
- 在最难设置下，零样本 Gemini 3.1 Pro 的表现已经可以接近最强的 MARL 代理之一。
- 研究认为，协作本身是独立于长时程任务能力的瓶颈，而通信在消融实验中影响最大。
所属事件:多项研究揭示LLM多智能体协作表现不佳(6 条相关)→
「编程与Agent」频道最新
- 浏览器主线程很贵:动画卡顿的真正成本与前端优化实践 — jh3yy · 2026-09-11
- 受 OpenAI 万机群启发，开发者开源 agent 众包解题平台 — Benjaminsen · 2026-09-11
- 开源 Mac 应用 Lucid：只在跑 AI 时阻止笔记本休眠 — Pitiful_Hedgehog_600 · 2026-09-11
- 20kb 函数匹配达成,banteg 召集 AI 逆向 Snail Mail 剩余 20 个挑战 — banteg · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11