CERA-MoA: Co-Evolving Routing Mechanisms with Continually Learning LLM Agents
Jiaxuan Jiang, Liyuan He, Zhixuan Fang
cs.AI, cs.LG
2026-09-16
清华、上交与上海期智提出CERA-MoA：用中层隐状态估各agent熟悉度，再按累计阈值动态选最少子集，路由与LoRA agent一起强化学习。Qwen3-4B上ID均分63.2，高于固定工作流AT-GRPO的61.0，token比固定Top-2少约45%。
Mixture-of-Agents 现在分成两路。一路把 agent 当固定能力的专家，只调辩论协议或 query 路由；另一路在预定工作流里微调每个 agent，训练数据靠人手切。两条路都把「谁来接这道题」和「这道题怎么让谁变强」拆开了。
问题是后训练期间 agent 能力一直在变。静态路由跟不上；均匀或人工切数据也诱导不出互补专长，最后每个人都还是通才。清华 IIIS、上交和上海期智的 CERA-MoA，要把路由和 agent 策略放进同一个强化学习闭环。
系统由参数化路由器、N 个持续学习的 agent，以及投票聚合器组成。共享骨干时 N=4，每个 agent 一个独立 LoRA（rank 16，α=32），整套大约 4.4B；异构池则是 Qwen3-4B、Llama-3.2-3B-Instruct 和 Phi-4-mini 三个底座。
熟悉度估计不跑完整生成。路由器冻结骨干，把第 L/2 层和第 3L/4 层隐状态拼起来当语义特征。每个 agent 配一个可训练预测头和一个随机初始化后冻结的目标头，两头正交初始化，保证起点分散。熟悉度是两头投影之间归一化欧氏距离的指数衰减：距离小，分数高。奖励变成相对的推拉，不直接回归绝对分数。
训练时路由分数等于熟悉度加上 UCB 探索项和历史生成熵。排序用这个分数，截断只用熟悉度：按排名累加，刚过阈值 τ（默认 0.7）就停，凑不够就全员上场。推理时关掉探索项。
被选中的 agent 用 DAPO 加 GSPO 的序列级重要性采样更新策略，每题采 8 条轨迹。路由器看相对优势：比同伴好的 agent 把预测头往冻结锚点拉近，差的按间隔 m=1.0 推开。提示词不加角色人设，只喂原始题目，专长必须从数据分配里长出来。
确定性任务用熟悉度加权多数投票；开放生成直接取最熟悉那个 agent 的答案。
训练集约 3.2 万条，覆盖数学、代码、指令遵循和 BIG-bench Hard。OOD 不微调，测 IFEval、HumanEval、AGIEval、ARC-c、LogicBench、OlympiadBench。
| 设置 | 方法 | ID 均分 | OOD 均分 |
| Qwen3-4B | 底座 | 49.6 | 53.0 |
| Qwen3-4B | AT-GRPO | 61.0 | 71.5 |
| Qwen3-4B | CERA-MoA | 63.2 | 72.8 |
| Llama-3.2-3B | AT-GRPO | 40.7 | 51.0 |
| Llama-3.2-3B | CERA-MoA | 47.9 | 53.9 |
| 异构三模型 | AT-GRPO | 61.8 | 69.1 |
| 异构三模型 | CERA-MoA | 63.0 | 71.8 |
单格并不通吃：Qwen3-4B 的 MBPP 上 CERA-MoA 是 60.3，低于 MAPoRL 的 64.2；HumanEval 82.5，低于 MAPoRL 的 85.1。赢在平均分和难推理集，DAPO-MATH、LogicBench、OlympiadBench 拉开更明显。
消融（Qwen3-4B）：直接回归奖励 ID 60.8，多分类 61.3，熟悉度几何估计 63.2。固定 Top-2 均分 63.3、平均 666 token；自适应阈值 63.2、368 token，大约少 45%。去掉 UCB 和熵，ID 掉到 57.1。末层特征不如中层：61.1 对 63.2。路由器一次前向 11.87 ms，相对原生生成 1350 ms 不到 1%。
四个 Qwen agent 自己分了工：Agent 2 接大多数长推理，Agent 1 短数学和逻辑，Agent 3 代码，Agent 4 通用推理。t-SNE 上同 agent 的题聚成一团。
这是渐进改进，不是新范式。贡献在于把路由从静态调度改成跟 LoRA 一起更新的能力估计器，数据分配变成专长的成因。4 个 LoRA 叠在 4B 骨干上总参数大约 4.4B，训练 1000 步、1.6 万条 query 约 1 张 H200 GPU 天，想复现 MoA 后训练的人可以跟着跑。异构池说明不同底座不必被按进同一套辩论流程。
适合样本级、可验证奖励的单轮任务。开放生成目前只取一人答案，辩论和多轮还没接上。
作者自己写了两点。熟悉度只看初始 prompt 的中层状态，多轮对话里所需专长会变，现在的路由跟不上。开放任务没有合成多份答案，丢掉了多 agent 生成的好处。
另外几处论文没说透。编排类基线用角色 prompt 模拟四个专家，和真微调的 4-LoRA 不完全同构。OOD 上 AT-GRPO 已经很接近，Qwen3-4B 只高 1.3 分，增益主要来自 ID 和难数学。HumanEval、MBPP 上辩论式 MAPoRL 仍更高，熟悉度加权投票对代码这类开放输出并不占优。训练阈值 τ=0.8 时 ID 掉到 61.2，超参不宽。