多智能体团队实验:省钱的秘诀是只委托规划
研究者 @nouhadziri 发布一项关于「智能体团队」作为推理时计算扩展方式的研究:团队最多能比 solo agent 高出约 10 个点,但成本高 4–7 倍;核心结论是在任务瓶颈处增加智能体才有回报,分工位置比数量更关键——只委托规划阶段、用便宜模型做规划器,可以低得多成本保留大部分收益。这项工作为多智能体系统提供了系统性的成本-性能权衡数据。
已确认
- 方法:参考 mini-SWE-agent 构建最小化层级式 lead-worker 框架,lead 动态生成 worker、分配子任务、汇总回报,worker 只见自己的子任务并共享工作区;用控制变量实验研究组织结构、通信、模型搭配等设计选择
- 评测基准 ProgramBench:agent 只拿到程序二进制与文档、无源码,需运行并推断行为后从零重建 jq、SQLite、FFmpeg 等真实软件;任务极难,FFmpeg 上排行榜最强 agent 也难以完成
- 整体性能:GPT(5.6 Sol/Terra/Luna)、Claude(Opus 4.8/4.7/4.5)与 Gemini 3.7 等前沿模型上,团队比 solo 最多高约 10 个点,但成本高 4–7 倍
- 沟通模式:即使 worker 可以私聊任意 agent,84% 消息仍流向 lead(中间发现、接口提案、测试失败、提问),worker 之间几乎零互发
- 模型差异:GPT-5.6 与 Claude Opus 4.8 会主动委派并获益;Claude Opus 4.7 几乎不委派;Claude Haiku 4.5 与 Gemini 3.7 表现较弱
- 异构团队:固定便宜 worker 为 Luna、升级 lead(Luna→Terra→Sol),reward 从 42.5% 升至 51.6% 再到 60.5%,且每档都胜过用 lead 同款模型单干
- 规模扩展:给 Sol lead 人工配置 2/4/8/16 个便宜 Luna worker,规划阶段 reward 随人数持续增长;16 个便宜 planner 接近全 Sol 团队成绩、省 70% 成本
- 成本拆解:Sol lead + Luna 规划 worker 保留全强团队约 47.5% 增益、仅花 13.9% 额外成本;便宜模型做实现 worker 则效果差
- 分工方式:只让 worker 做探索与规划(P 模式)与全阶段委派(PIV 模式)性能持平,但 P 模式成本约减半
- 异步设计:异步式 lead 在 worker 运行期间继续工作、轮询检查,比阻塞式 lead 更早完成任务
为什么重要
- 多智能体成本极易膨胀,该研究给出了明确的省钱路径:识别任务瓶颈阶段(此处为规划)、只在瓶颈处配置便宜 worker
- 「位置比数量更重要」的结论对业界盲目堆 agent 数量的做法是有力纠偏
- 揭示了模型间领导力差异(是否会委派)与沟通集中化(84% 上行汇报)等团队行为规律,为多智能体系统设计提供实证依据
2026-10-14 ~ 2026-10-14 · 14 条相关
一手来源
- 研究:智能体团队扩算力,分工位置比数量更关键 — nouhadziri ·
- 受控实验拆解智能体团队:设计选择如何影响性能与成本 — nouhadziri ·
- 智能体团队最多领先 solo 约 10 个点,但成本高 4–7 倍 — nouhadziri ·
- 编码智能体团队扩展研究:用 30% 成本摸到性能前沿 — nouhadziri · 2026-10-14
- 【源头】受控实验拆解智能体团队:设计选择如何影响性能与成本 — nouhadziri · 2026-10-14
- 最小化多智能体框架:层级 lead-worker 共享工作区设计 — nouhadziri · 2026-10-14
- 异步 lead 让智能体团队更快完工:等待策略也是设计点 — nouhadziri · 2026-10-14
- ProgramBench:让智能体从二进制逆向重建 FFmpeg 级软件 — nouhadziri · 2026-10-14
- 【源头】智能体团队最多领先 solo 约 10 个点,但成本高 4–7 倍 — nouhadziri · 2026-10-14
- 智能体团队成本失控,如何省钱成了关键问题 — nouhadziri · 2026-10-14
- 多智能体省钱秘诀:只委托规划阶段,性能持平成本减半 — nouhadziri · 2026-10-14
- 便宜的规划器保留一半收益,成本只要 13.9% — nouhadziri · 2026-10-14
- 异构智能体团队:lead 决定上限,便宜 worker 决定成本 — nouhadziri · 2026-10-14
- Sol lead 带 16 个便宜 planner:接近全 Sol 团队成绩,成本省 70% — nouhadziri · 2026-10-14
- 多智能体实验:84% 消息仍涌向 lead,worker 互聊几乎为零 — nouhadziri · 2026-10-14
- 不是每个模型都会当领导:GPT 与 Opus 会带团队,小模型白忙 — nouhadziri · 2026-10-14
- 【源头】研究:智能体团队扩算力,分工位置比数量更关键 — nouhadziri · 2026-10-14