UT Austin 发布 ParallACT 基准:Opus 4.8 多智能体并行成功率仅 16%
EliasEskin · x · 2026-11-04
UT Austin 团队(Rishabh Mediratta、Lingyun Xiao、Peter Stone、Joydeep Biswas、Elias Stengel-Eskin,合作 NVIDIA)发布 ParallACT 基准,首次系统研究「多委托人」多智能体场景:大型 monorepo 里多个开发者各自向 agent 提独立任务,任务可能冲突且 agent 互不知情——这与现有把单一请求拆分给并行 agent 的多智能体基准有本质区别。
核心发现
- 并行 agent 大幅劣于单 agent:矛盾任务上,拿到两个任务的单一 agent 成功率 62%,两个并行 agent 仅 16%(差距 46 个百分点);Opus 4.8 互补任务 86%→57%,开源模型平均 60%→19%。即使各半部分都能通过测试,合并后代码仍可能失败。
- 通信帮助小、代价大:最好的消息通道把成功率提到 32%,但 token 消耗是 oracle 的 2.23 倍;仅告知对方存在几乎无用(16%→26%)。
- agent 会说话但不会听:88% 的矛盾对话讨论了共享代码、59% 达成具体协议,但只有 21-23% 的消息在对方开始改代码前被读,约 1/3 从未被读;达成一致后仍有 61% 的运行以 merge conflict 收场。
- 串行 A→B 交接能恢复大部分差距(16%→54%),但扩展到上百 agent 时会形成中心化瓶颈,不可扩展。
结论:多智能体瓶颈不在「说什么」而在「何时倾听、如何执行」,去中心化多委托人协调仍是前沿模型的硬伤。
所属事件:UT Austin 发布 ParallACT 基准:并行多智能体成功率暴跌至 16%(9 条相关)→
「编程与Agent」频道最新
- 用 tldraw 搞了个 GhostDraw:手绘草图直接变成应用流程图 — Dhananjay_Tech · 2026-11-04
- CoworkOS 开源:三层协作 Agent 框架,Qwen3.6 自训练提升 9.76 分 — KyeGomezB · 2026-11-04
- NeurIPS 论文 DOLORES:免训练让 8B 模型击败同家族 32B — StellaLisy · 2026-11-04
- Berkeley 团队开源 StarTrail:深研检索基础设施与论文搜索工具包 — CShorten30 · 2026-11-04
- 基于 Claude Code 的 AI 求职框架爆火,GitHub 斩获 6.93 万星 — adnan_hashmi · 2026-11-04
- 港中深推出 DuplexAgent-RSI:语音助手可中断旧任务异步执行新指令 — jiqizhixin · 2026-11-04