ParallACT 基准:多主体协作任务下 Opus 4.8 成功率仅 16%
EliasEskin · x · 2026-11-04
EliasEskin 与 PeterStoneTX 发布 ParallACT 基准,模拟大型仓库中 1000+ 开发者同时工作、各自委派 agent 的场景,提出「多主体多智能体」任务:请求来自不同委托人且可能互相冲突,与现有「单问题拆分并行」的多智能体设定有本质区别。
关键结果与要点:
- 前沿模型表现糟糕,Opus 4.8 成功率仅 16%,即使 agent 之间可以互相沟通;
- 与 monorepo 中多开发者委派 agent 的真实场景直接对应;
- 核心难点在于跨主体的协调与冲突处理,而非单任务能力。
这是对当前多智能体系统乐观叙事的一次量化泼冷水。
所属事件:UT Austin 发布 ParallACT 基准:并行多智能体成功率暴跌至 16%(9 条相关)→
「编程与Agent」频道最新
- Yuchen 称团队已自动批准大量 AI 代码评审或将消亡 — Yuchenj_UW · 2026-11-04
- 用 Codex 写 MCP 技能,让 YuE2 稳定生成纯伴奏 — ActIcy7831 · 2026-11-04
- NVIDIA 发布 NeMo Relay,深度解析 Hermes Agent 追踪链路 — NVIDIAAI · 2026-11-04
- Anthropic 工程师警示「认知投降」:越用 AI 编码越难监督 AI — gdechichi · 2026-11-04
- vibe coding 十项体检:从异步并行到 N+1 查询的系统审查清单 — weskambale · 2026-11-04
- LangChain 详解 Deep Agents 浏览器工具选型:如何缓解上下文窗口压力 — LangChain · 2026-11-04