MAC Bench 实测:前沿 Agent 团队协作几乎不产生增益
gregd_nlp · x · 2026-11-20
Bespoke Labs 发布 Multi Agent Coordination Bench (MAC Bench):12 个「原生多智能体」长程任务,测量前沿模型 Agent 团队的协调能力,任务与 harness(基于 Harbor 框架构建)均已开源(Apache-2.0)。
核心发现:
- 当前前沿 Agent 的协调能力很差;
- 8 个 Agent 组队确实能超过单 Agent,但收益来自「人多」,而非「协调」;
- 在 Opus 5.5、GPT-6.1 Sol、Gemini 4 Argon 三家中,只有 Opus 表现出协调带来的增益。
每个任务在三种设置下运行:单 Agent、共享消息板协作的 k Agent 团队(2/4/8 个)、以及无协调的 k Agent,从而把「加人」的收益和「协调」的收益分离开。附 GitHub 仓库含运行命令,可指定 nagents、budget、模型与 harness(如 claude-code)复现。
「编程与Agent」频道最新
- 曝苹果正自研主动式 AI 智能体,独立替用户执行任务 — burny_tech · 2026-11-20
- NormGym 基准发布:Agent 难从他人行为中学到社交规范 — xuanalogue · 2026-11-20
- Every 全公司推行「复合工程」,代码库随功能增加反而更好维护 — every · 2026-11-20
- 定制模型从 30B 起步:单卡能跑、支持 LoRA — ziv_ravid · 2026-11-20
- Agent 不必用通用 LLM:专用小模型按任务类型选型 — ziv_ravid · 2026-11-20
- 训练前先验证信号:技能蒸馏预检法判断数据值不值得训 — ziv_ravid · 2026-11-20