多 Agent 团队值不值？Vals AI 实测：成本涨 1.8-5.1 倍，仅一项提升显著
rseroter · x · 2026-10-13
Vals AI 在自研基准 Vibe Code Bench 上测试了多 agent 团队是否划算。该基准要求从产品规格构建完整 Web 应用，用 Docker Compose 部署、由浏览器 agent 点击工作流评分，工作天然分为数据库、API、界面、部署四块，接缝处的 bug 会直接反映在分数上。
实验设置
- 模型：GPT 6 Sol 与 Claude Opus 5.5，各跑 50 个应用。
- 条件：单 agent vs 团队，medium 与 max 两档推理强度，共 8 种组合，每种跑一次。
- 团队中 lead agent 最多可同时派发 5 个子 agent，子 agent 不能再派生；lead 收到统一指令：拆成独立部分、逐个委派、再整合验证。
关键发现
- 团队成本是单 agent 的 1.8 至 5.1 倍。
- 8 种设置中只有一项分数差异具统计显著性：Sol 在 medium 推理强度下，团队比单 agent 高 7.3 分。
- 结论：团队是否值得取决于模型、任务与预算；提高推理强度是另一条值得权衡的替代路径。
「编程与Agent」频道最新
- Celesto CI 算账:1000 个任务比 GitHub Actions 便宜 9 倍 — aniketmaurya · 2026-10-13
- 开发者实测 sketch MCP:一句话评价「确实有用」 — nathanborror · 2026-10-13
- Every 弃个人 agent 转公司共享 agent，工程师 token 用量骤降背后逻辑 — every · 2026-10-13
- 给编码代理加防膨胀前置指令，省 token 又少 bug — gabriberton · 2026-10-13
- 一条 prompt 编排 Haiku 修复+Astra 审查,t3code 自动跑 PR 循环 — talkaboutdesign · 2026-10-13
- 跑数千万个无用程序实验：一种交给 LLM 的自动化玩法 — bushibuilds · 2026-10-13