Learning Self-Orchestration in Decentralized Agent Swarms
Guowei Xu, Zhenting Qi, Amani Kiruga, Himabindu Lakkaraju, Yilun Du
cs.MA, cs.AI, cs.CL
2026-10-16
MPT 让专才智能体用投标决定谁行动、信用怎么分。三项任务都高于单体后训练，铁镐留出回报 41.5 对 20.3，导航与深研同步抬升。
多智能体系统里，下一回合谁上场，大多写死在流程里：经理派工，审查员盯生成器，或按轮次发言。权重可以训，编排常常不训。
谁上场既改轨迹，也决定谁拿到梯度。能力变了，该上场的人会变。早期负责伐木的角色，后期还占着回合，挤掉挖矿和合成。
群体要同时学会怎么做，以及何时自己上场。没有调度器在旁边点名。
框架叫 MPT，市场式后训练。各智能体参数分开。每回合出价，价高者行动。五档是 0、0.2、0.4、0.6、0.8。平局随机。全员出 0 就跳过该回合。
出价同时往回送信用。累积价值等于本步环境奖励，加上后一手的出价乘后续价值。留下的信用等于一减本步出价，再乘累积价值。出价高才抢得到行动，留下的比例更小，差额退给上一位。排在最前的那一次，再往前退的部分作废。提示词里的说法是「买下前人留下的状态」。
动作用策略梯度（REINFORCE）。信用减去本人在这批数据里的均值，只加权本人出场时写下的动作词元。
投标看反事实。第二名出了非零价，才把状态退回，原胜者至多重抽三次，直到第二名接手并跑完。两条线比的是此后的环境奖励和。用 Bradley-Terry 配对损失，让原胜者更常写出回报更高的那档出价。打平，或三次都未让出，这个样本放弃。四步动作、一步投标，轮流更新同一套权重。
冷启动的监督微调按角色切示范，单体基线用合并示范，计算量对齐。正式比较时，全体出价、动作、反事实轨迹和参数更新都算进训练计算量。
动词表由提示词划定。合成与导航是一个身体、三套策略轮流掌舵。深研三席共用交互记录，工具各管一段。合成用三个 Qwen3-VL-4B-Instruct，分伐木、挖矿、铁匠，冻结的 STEVE-1 每令跑 40 帧，每局 120 步，从空背包造铁镐，奖励封顶 140。导航用三个 NaVILA-8B，分转向、前进、停止，在 Habitat 的 VLN-CE 房屋里最多 64 步，奖励是距离缩短，另加 3 米内停下的 2.5 分。深研用三个 gemma-4-E2B-it，分搜索、打开、查找，最多 64 步，对错由 qwen3.5-flash 对照答案裁定。单体基线是同一底座、折扣 0.95 的策略梯度。
留出集不与训练重叠。铁镐 32 个新种子，导航 88 条未见路线，深研 50 题，每题跑 3 次。
| 任务 | 单体强化学习 | MPT |
| 造铁镐局回报 | 20.3 ± 4.1 | 41.5 ± 5.9 |
| 导航局回报 | 0.52 ± 0.14 | 1.23 ± 0.18 |
| 深研准确率 | 9.0 ± 2.1% | 21.0 ± 4.1% |
训练计算量对齐后，曲线末端铁镐约 41 对 20，导航约 0.9 对 0.3，深研约 27% 对 6%。
第 120 个决策，训练前伐木约占 80%，挖矿和铁匠各约 10%；训完约为 45%、40%、15%。
动作权重不变，只换协调，仍是这 32 个种子。轮转 23.8 ± 4.2，AgentNet 20.9 ± 4.2，Graph-of-Agents 25.4 ± 4.6，投标 41.5 ± 5.9。相对最强对照高 63.4%。
四格对照：初始投标配初始动作 15.4 ± 4.1，只训投标 21.5 ± 4.7，只训动作 27.2 ± 4.8，两者都训 41.5 ± 5.9，为初始的 2.69 倍。
约 5×10^18 计算量时，完整方法约 42，出价换成 0 到 1 的均匀随机数后约 31，改成轮流并用 0.95 折扣后约 15。
铁镐检查点继续训 Torch 与 Stone Bricks，对应火把和石砖。约 10^18 追加计算量处，群体约 35 与 38，单体约 17 与 19。
不另训练，每席复制一至四份，人口从 3 到 12。三次里至少成功一次的比率，木镐约从 78% 到 97%，石镐从 69% 到 94%，熔炉从 66% 到 91%。掉线概率 0.9 时，12 人回报约 33，3 人约 19。
上场和分信用用的是同一个出价。计算量对齐后，三个任务都高于单体后训练。代码和训好的模型已公开。
拿走的是这套配方。动词表是人事先划的，学出来的是何时出价，以及在自己的词表里怎么下令。上线时复制席位，前几个合成节点会更高，调度器不用重训。
铁镐 41.5 对着上限 140，大约三成。深研留出 21%。跟单体比，差距站得住。离做完铁镐，或拿去当深研代理，还早。
每席的合法动词写在提示词里。学的是该不该上，分工不是训出来的。加到 12 人只是把三席复制。出价撞车就随机选。
协调方式、四格和消融都在铁镐上。导航和深研只对照了单体策略梯度，没有经典多智能体信用分配的同台比较。导航未给成功率，也未给路径效率。
32 个种子上，63.4% 的相对差会随抽样晃。深研的对错来自外部裁判，误判进入奖励。低层控制器冻结，一条指令约两秒，没走到位同样产生更新。
掉线概率 0.9 时，12 人期望约剩 1.2 个，3 人约剩 0.3 个。33 对 19 的回报差，用剩下的人数就能解释一大半。每人每步都出价，推理变慢多少，没有单独的数。