Self-Organizing Agent Teams Learn to Reason Together
Aneesh Pappu, Mirac Suzgun, Yongchan Kwon, Federico Bianchi, Batu El, Mykel J. Kochenderfer, Hancheng Cao, James Zou
cs.AI, cs.MA
2026-09-19
固定三人组从旧协作里学可复用组织策略。数学物理五基准平均66.7%，高于最强成员48.8%和完美路由59.0%；知识逻辑侧覆盖率87.9%，选定答案只有72.8%。
多智能体常见两条路。一条拿各模型的独立答案去辩论、投票、再聚合，Mixture of Agents 也属这一路。另一条先把题拆成子任务再路由。两条都预设可比较的完整答案，或事先分得清的子任务。可是很多题里，谁都没有完整解，有用的分工要在对话里才长出来：一个人给出不变量却数错，另一个人修计数，第三个人审计。人类团队靠一起干活学会谁擅长揭假设、谁擅长修推导。现有 agent 团队很少把「怎么组织对话」本身当成可学习、可迁移的对象。
斯坦福、Together AI 和 Emory 的这条线把组织当成能力：固定名单，从旧协作里学可复用的 teamwork strategy，冻结后再拿到没见过的基准上。
策略写成一门小语言。一条策略包含有序的对话阶段、全队协作规范，以及跨阶段不变的角色提示。每个阶段规定谁说话、几轮、信息流是局部还是会后摘要、本阶段指令。它不给新题拆子任务，只规定对话怎么开、谁在场、信息怎么流。
学习分三步。指定训练准确率最高的成员做 teamwork reflection：数学侧是 o3-mini，知识侧是 Gemini-2.5-Flash。它读历史策略、逐字稿、对错和验证探针，提出对角色、阶段和综合规则的变异。每个源问题跑六轮，每轮最多三个候选。源题做对后再拿到另外五道训练题上测迁移。过语义审计（不能把答案、题面事实、解法配方写进策略）后，按覆盖贪心冻结最多十条。测试时十条全跑，各产出带逐步可检查证书的候选，同一名成员当评委，只审计证书缺陷、自己不算一遍。
两支独立队伍。数学物理：o3-mini、Claude Sonnet 4、DeepSeek-V3，用 15 道 AIME 2024 训练。知识逻辑：Gemini-2.5-Flash、Llama-4-Maverick、GPT-4.1，用 25 道 GPQA Diamond 训练。对照包括最强成员、K=10 自洽、五轮自反思、成员投票、三轮辩论、Mixture of Agents、同构三人组跑同一套策略，以及把最强成员按近似总预算串行扮演所有角色的线性化。最严的尺子是 routing oracle：按题完美挑选成员独立答案。团队只有造出谁都没单独给出的解，才会超过这根天花板。
数学物理五基准，SAT 平均 66.7%，最强成员 48.8%，线性化 58.7%，Mixture of Agents 57.3%，routing oracle 59.0%，团队覆盖率 75.2%。AIME 2024 留出集 84.7%，对照 o3-mini 的 64.4%。同一策略银行原样搬到 AIME 2025（60.8% 对最强 40.0%、oracle 51.1%）、AIME 2026（71.2% 对 42.2%、oracle 57.8%，高出 oracle 13.4 个百分点）、HMMT 2026（与线性化并列 39.4%，最强成员 26.3%）、TheoremQA-physics（77.2% 对 71.1%）。HMMT 第 6 题三人都先错：o3-mini 给出不变量却数错，DeepSeek-V3 修计数，Claude 审计，合成答案 3840。
| 方法 | 数学物理平均 | AIME 2026 |
| 最强成员 | 48.8% | 42.2% |
| 线性化（o3-mini） | 58.7% | 68.5% |
| routing oracle | 59.0% | 57.8% |
| SAT | 66.7% | 71.2% |
| SAT 覆盖率 | 75.2% | 73.3% |
知识逻辑三基准平均 72.8%，略高于线性化 72.1% 和 Mixture of Agents 71.2%，仍低于 oracle 的 79.6%。覆盖率却是 87.9%。GPQA 上 SAT 80.0% 领先；MMLU-Pro 82.4% 低于 Mixture of Agents 的 84.3%；BBEH 56.0%，同构队 58.7% 更高。会做对和会选对是两件事。
八个基准上，demonstrability（十模型评委从正误证书里认出正确推理的比例）与相对最强成员的提升秩相关 Spearman ρ=0.90（p=0.005）。正确推理一旦出现还能被认出来，协作才值钱。
组织可以从旧对话里学出来，冻结后还能跨年份、跨竞赛、跨学科用。过 routing oracle 说明增益不只来自「谁对听谁的」。工程含义很具体：数学这种步骤可检查的题，协作能造新解；知识题更容易在选择阶段把对的证书丢掉。模型名单刻意留了头寸，更强模型打满基准后，这篇测不到同样的协作红利。
知识侧覆盖 87.9%、准确率 72.8%，证书写得对不等于评委选得对。demonstrability 是事后相关，没有拿它去改策略搜索。训练只在 15 和 25 道题上进化，策略银行冻结后不再按新题改编。线性化对照绑的是训练准确率最高的成员，不能排除换一个更强单模串行会收窄差距。开销按候选条数对齐（K=10），没有报美元或 token。开场那则 OpenAI 网络安全评测里 agent 自建频道的故事只是动机，不是实验。