新基准 ParallACT:Opus 4.8 多委托人多智能体协作成功率仅 16%
EliasEskin · x · 2026-11-04
UT Austin 团队(含 Peter Stone、Joydeep Biswas 等)发布 ParallACT,一个多委托人(multi-principal)多智能体协作基准,研究当多个开发者各自把任务委托给自己的智能体时会发生什么。
与主流多智能体设定不同——那类场景是把单个集中式请求拆解后并行分配——ParallACT 的请求天然来自不同委托人,任务之间可能冲突,就像大型 monorepo 中 1000+ 开发者同时工作的情况。
关键发现:
- 前沿模型表现很差,Opus 4.8 成功率仅约 16%,即使智能体之间可以互相沟通
- 一个耐人寻味的结果:15% 的情况下,一个智能体会把搭档的任务也一并做掉,而另一个智能体则退到一旁
作者指出这种设定对两个智能体尚可接受,但扩展到上百个智能体时问题会严重得多。
所属事件:UT Austin 发布 ParallACT 基准:并行多智能体成功率暴跌至 16%(9 条相关)→
「编程与Agent」频道最新
- Plane AI 实测 165 问全对:中位响应 18 秒、单次成本 0.1 美元 — JosephJacks_ · 2026-11-04
- SurrealDB 4 发布:主打 Agent 记忆,推出 Cloudflare 无服务器版 Earth — ritakozlov · 2026-11-04
- Karpathy「vibe coding」原帖被赞理应拿下「时间考验奖」 — MillionInt · 2026-11-04
- OpenAI SDK 推出官方 WebSocket 助手,工具调用延迟显著下降 — craigsdennis · 2026-11-04
- Pydantic AI 新增 ConversationStore:多标签页并发保存对话不再互相覆盖 — samuelcolvin · 2026-11-04
- PhilSchmid 为 Gemini API 出 CLI Skill,Agent 一行命令调用图像/TTS/视频 — _philschmid · 2026-11-04