Scaling Multi-Agent Intelligence with Substrate-Centric Coordination
Zhenting Qi, Zhuokai Zhao, Rulin Shao, Kerem Oktar, Zhiyuan Yao, Himabindu Lakkaraju, Wen-tau Yih, Ansong Ni, Bhargavi Paranjape, Yilun Du
cs.CL, cs.MA
2026-10-12
共享消息库每次搜索最多回8条。16个Qwen智能体把深度检索从38.1%做到65.3%，同等算力高于辩论和黑板。
加人不会让一组 LLM 智能体自动变强。已有测量里,推理开销超线性上涨,多加的人收益递减甚至变负,同样预算下群体还会输给单个智能体。ScaleMAS 把这件事收成三个随人数变坏的故障:每个读者要吞下的输入变多,有用内容和质量不明的半成品混在一起,以及一个成员失败就可能拖垮全组。
全互发把别人的中间结果全部送进接收者,协调器把每个子智能体的产出都送进主智能体,人一多,上下文先满。工作流把角色和后继写死,协调器又是单点,挂掉一个成员就容易整组停下。黑板让结果在作者离开后还留着,但共享区照样随人数变长,也没有信号说明哪条被人接去用过。
所有智能体共用一条提示、同一套循环,没有角色,不互相点名,也不派活,异步执行。除任务自带的工具外,只有 publish、search、visit 能碰存储。
存储只追加、不修改。每条消息是一项已完成的工作,含子任务、产物、短理由和引用。引用指向更早的消息,或工具能打开的资源。地址在写入时确定,之后不改。子任务加产物限 256 或 1024 token,引用最多 32 个。
publish 成功后所有人立刻可见。引用必须已经存在,理由必须点名每一条并说明它提供了什么,否则整条被拒。search 按自由文本取回至多 8 条,排序是词面分 BM25(归一化到 0 到 1)加上引用权重。visit 凭地址读取,一次也至多 8 条。作者和权重都不显示。
新消息权重为 0。每被引用一次,权重向 1 推进剩余差距的 30%,群体每走一步再全体乘 0.98,于是被继续使用的消息变重,没人接的消息变轻。词面分为 0 的消息不会因为权重大而出现。所以一次阅读最多新增 8 条有长度上限的消息,阅读量取决于自己搜几次,不取决于群体有多大。
任务是 BrowseComp-Plus 深度检索(前 100 题)、FATE 的 Lean 4 证明、SWE-bench Verified(前 100 个 issue,用 mini-SWE-agent),以及自建矛盾审计:16 个开源文档库,GPT-5.6 每库注入 20 对矛盾,多报不扣分,一对中含被改片段即算找到。Qwen3.5-9B 跑审计 x4(每库 160 片段)和 FATE-M;Claude-5-Sonnet 跑 x8 和 FATE-H;SWE 只跑 Qwen。对照为并行 ReAct、全互发 Debate、协调器 AOrchestra、黑板 DeLM。分数是 Pass@N,任一答案正确即通过。
Qwen 从 1 人到 16 人:检索 38.1% 到 65.3%,FATE-M 24.0% 到 56.0%,审计 x4 4.1% 到 29.4%。SWE 在 8 人后不再涨,ReAct 同样停住。约 2000 万 token 时,8 个 ScaleMAS 检索为 60.0%,16 个 DeLM 为 26.0%。SWE 上 4 个 ScaleMAS 以 1530 万 token 达到 80.0%,8 个 ReAct 需要 2830 万。Claude 约 350 万 token 时,8 个 ScaleMAS 79.8%,8 个 Debate 73.0%,4 个 ReAct 72.0%。Debate 从 2 人到 16 人,token 从 560 万涨到 4850 万,准确率停在 28% 到 32%。审计上这两条基线始终不超过 7%。Claude 的 x8 从 10.6% 升到 8 人的 57.5%。
Qwen 在检索上的人均轮数从 304 降到 8 人时的 205,总轮数约为单人的 5.4 倍。128 人时 FATE-M 在 16 人后停在略低于 60%,Debate 于 32 人见顶后下降,DeLM 比 8 人时更低;审计 x4 升到 50.9%。被引最多一档的消息有 85% 出现在正确证据链上,最少一档为 29%。用了他人发现且自己没打开的金标文档的正确答案,从 2 人的 9% 增到 8 人的 24%。
7 个健康智能体另加一个每步失败的,审计仍为 19.4%,DeLM 低于 1%。每步缺席概率 0.8 时,8 人仍解出 22.0% 的 FATE-M,单人为 2.0%;AOrchestra 在概率 0.2 就失去过半分数。
| 设置(4×Qwen) | 检索 | FATE-M | SWE | 审计 |
| ScaleMAS | 55.1% | 42.0% | 80.0% | 10.0% |
| 只读自己 | 46.8% | 38.0% | 71.6% | 6.6% |
| 并行 ReAct | 38.0% | 36.0% | 68.0% | 8.1% |
互相读取大约贡献了相对独立采样提升的一半或更多;审计上只读自己(6.6%)还低于 ReAct(8.1%)。8 人去掉引用权重后,检索 60.0% 降到 40.8%,审计 23.1% 降到 9.7%,FATE-M 49.0% 降到 42.0%,FATE-M 上纯 BM25 读入约为 570 万对 270 万 token。
多人系统里最容易膨胀的开销,是每个人把别人的输出再读一遍。ScaleMAS 让单次读入与人数脱开。检索和审计的 token 因此涨得比人数慢,后来者直接接已经发布的结果。
软件工程上,4 人用约一半 token 打平 8 个独立 ReAct 的 80%,8 人后双方都不再涨,库补不上模型不会写的补丁。智能体没有针对该介质训练。涨分来自阅读封顶,以及搜索把被人接住的消息排到前面。
实验止于 128 个智能体,且只在推理时使用,训练智能体适应这个介质仍是空白。
65.3% 是 Pass@N,16 份里出现过正确答案,不是系统承诺提交的那一份。4 人检索上 ReAct 38.0%、私有库 46.8%、完整系统 55.1%,有一段增益只是自己的笔记。
审计多报不罚,含改写片段即算中。矛盾的撰写和四次全票筛选都用 GPT-5.6,「不能靠记忆发现」也是模型判的。每库 20 对注入矛盾,不是文档里自然出现的冲突。FATE-M 在大规模下停在 60% 以下,持续扩员带来的涨分主要在审计。引用变多会让一条消息更靠前,早期错误被众人接住之后有多难纠正,缺少测量。α、衰减系数和 k=8 只有一套默认值,SWE-bench 也没有 Claude 的结果。