AgentWorld: Benchmarking Long-Horizon Collaboration of Multi-agent LLMs
Raphael Shu, Yusen Zhang, Young Min Cho, Jin Mo Yang, Yuan Yuan, Wenliang Zheng, Sharath Chandra Guntuku, Lyle Ungar, Zhou Yu, Rui Zhang
COLM 2026
cs.MA
2026-09-26
AgentWorld在MMORPG沙盒里放100道需3到20个角色协作、25到55轮的任务。Gemini 3 Flash成功率52.0%,因果有效动作占比0.320;27%的任务四个模型全军覆没。
现有多智能体评测要么短(十几步)、要么在下棋打架,要么把各人分数加总。Minecraft 类环境又把分数耗在走位和摆方块上,协作本身很难成为得分来源。生成式社会模拟热闹,却缺少可判定对错的任务。
AgentWorld 要单独测黑盒、不对称角色、长视野协作。每个智能体看不到别人的内部状态,只能靠环境里的聊天协调;3 到 20 个角色技能和出生点不同,单人不可能做完。论文投在 COLM 2026,作者来自 OpenAgents、哥伦比亚、宾大、首尔大学和宾州州立。
沙盒基于开源 MMORPG 引擎 Kaetram:1056×768 地图、9 种生物群系、380+ 物品、144 种怪物、70+ NPC、13 个高层 API(移动、攻击、采集、合成、转移、聊天等)。attackentity 一次调用覆盖寻路、开战、收掉落,避免把评测做成微操竞赛。运行改成回合制,每轮每人一个工具调用,顺序固定,结果可复现。
100 道人工标注任务加 100 道 Claude Opus 改写变体,八类:战斗、合成、采集、交易、探索、生存、建造、协调。多数是 3 人队,长尾到 20 人;视野 25 到 55 轮,平均 38。成功由 Python 校验器看最终游戏状态,另报部分成功率 PSR(检查点完成比例)。
新指标 Causal Collaboration Effectiveness(CCE):从达成目标的动作倒着追因果,LLM 只做「这个动作有没有使能后面那个」的二元判断,CCE 等于因果路径上的动作除以全部动作。失败任务 CCE 记 0。对 84 个判断,人与 GPT-4.1 一致率 82%,Cohen's κ=0.64;换 Claude Sonnet 4 或 Llama-4 Maverick 做裁判,四个模型的排名不变,绝对值最多挪约 0.05。标注策略偏宽,CCE 应读成有用动作比例的上界。
四个模型共用同一套系统提示和工具定义。
| 模型 | 主集成功率 | 部分成功 | CCE | 增强集成功率 |
| Gemini 3 Flash | 52.0% | 71.5% | 0.320 | 24.0% |
| Claude Haiku 4.5 | 45.0% | 62.7% | 0.294 | 26.0% |
| GPT-5 Mini | 36.0% | 62.6% | 0.206 | 21.0% |
| DeepSeek R1-70B | 20.0% | 43.5% | 0.125 | 10.0% |
27% 的任务四个模型都做不成。生存最好做(各模型 50%–100%),协调、建造、交易最差。话多不等于协作:GPT-5 Mini 每任务 44.1 条消息、131.3 个动作,失败时 26% 的动作在聊天,成功率只排第三;DeepSeek 平均第 5 轮才开口、每任务 7.5 条消息,成功率垫底;Gemini 平均 26.4 轮、11.0 条消息,反而是最高分。只看成功轨迹,Claude 的 CCE 是 0.653,Gemini 0.609,GPT-5 Mini 0.571。
基线把难度钉死:随机动作 5.7%,单人接手全部角色和物品 28.6%,禁止聊天 17.6%,人类写好共享计划但不许中途沟通 22.9%,oracle 能看见所有消息也只有 60%。35 题消融里,拿掉任务文档从 54.3% 掉到 29.4%,视野从约 50 轮砍到 10 轮掉到 37.1%,打乱出生点只掉到 51.4%。通信错误样本里 37.7% 是过时和重复,其次是认错角色(16.4%)和报错物品坐标(14.8%)。Gemini 三次重复主集成功率都是 54.3%(35 题子集)。
这是目前少有的、把协作从微操和短对话里剥出来的基准。CCE 比给协作打 1 到 5 分可复现得多,适合当训练信号或回归测试。对做 multi-agent 框架的人,52% 成功率和 0.32 的 CCE 说明瓶颈在跨轮共享计划和信息同步,不在工具调用格式。PSR 比 SR 高大约 20 个点,队伍能开局,收不住尾。
沙盒终究是游戏。软件工程、科研实验这类真实协作会不会同一套失败模式,这篇没有证据。开源了环境、任务、校验器和标注平台,复现门槛低。
CCE 对失败任务一律记 0,平均会被成功率拖着走;改成只看成功轨迹时排名会动。裁判仍是 LLM,只是问题被收成二元因果。消融和三次重复只在 35 题、单一模型上做,模型两两差异有没有统计显著性,论文没给。回合制轮询消除了并发冲突,也消除了真实环境里的时序噪声。增强集用 Claude Opus 生成,对 Anthropic 模型是否偏心未测。主表四个模型都是小/快档(Flash、Haiku、Mini、R1-70B),没有上到对应的旗舰档,「基础模型普遍不会协作」这句话的外推半径有限。