MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation
Tianze Xu, Yanzhao Zheng, Zhentao Zhang, Yuanqiang Yu, Chao Ma, Jihuai Zhu, Lelun Wu, Lyumanshan Ye, Pengfei Liu, Baohua Dong, Hangcheng Zhu, Ruohui Huang, Gang Yu
cs.LG, cs.AI
2026-09-25
交大与阿里把多老师on-policy蒸馏从整题硬路由改成逐token加权。ExpertAlign在无标签混合上比均分高5.88分（+12.3%），有标签时不用标签也比标准MOPD高3.95分。
把多个 RL 专家揉进一个学生，业界现在常用多老师 on-policy 蒸馏（MOPD）：学生自己滚轨迹，老师在每个 token 上给稠密监督。MiMo、GLM-5、DeepSeek-V4、Kimi K3 的后训练都走这条。落地协议几乎都是「一题一个老师」：看题目标签，把整段 rollout 交给对应领域专家。
这套硬路由有两个缺口。真实 SFT 和闲聊混合常常没有可靠领域标签，一道题里可能同时有对话、格式约束、数学推理和代码执行。有标签时，标签也只指出主专家，其他老师在个别 token 上的互补信号被扔掉。数学题里代码老师可能帮程序化验算，指令老师可能帮 JSON 收口。
MOPD-Router 把固定的题到老师分配，换成对整池老师做逐 token 加权。不训练单独的路由模型，也不需要标签。每个老师对学生采样到的 token 给一个 sampled-token advantage（老师 logprob 减学生 logprob），路由权重把它们加成一个 advantage，再套 PPO 风格的 clipped 目标。
可插拔指标决定权重。Entropy 按老师下一 token 熵的负值打分，自信的老师权重大。Novelty 看老师和学生在共享 top-k 候选上差多少，再用双方在这批候选上的概率质量做可达性折扣，避免老师改的地方学生根本够不着。
ExpertAlign 不看当下自信，看这次纠正是不是老师后训练真正学到的方向。它用老师相对共享 pre-RL 基座的 logprob 差当专长向量，用老师相对当前学生的 logprob 差当施教向量，只保留余弦为正的老师，再按对齐强度加权。两边都在学生当前 top-16 支撑上算。对齐集合为空就跳过这个 token 的 OPD 监督。
老师是三份 Qwen3-4B-Non-Thinking 的领域 RL 检查点（数学、代码、指令），共享同一 pre-RL 基座。学生两条线：1.7B 的强到弱，4B 的同尺寸。无标签混合 60K（Nemotron 闲聊 30K + NuminaMath-TIR 30K）；有标签集是 DeepMath 25K + Eurus 代码 25K + HiR 指令 16K。无标签设置下，标准 MOPD 用 DeepSeek-V4-Flash 给每条数据打的伪标签。
| 设置 | ExpertAlign | 最强对照 |
| 无标签 1.7B | 38.58 | Standard MOPD 36.33 / Mean 34.49 |
| 无标签 4B | 53.76 | Open-MOPD 49.41 / Mean 47.88 |
| 有标签 1.7B | 40.19 | Open-MOPD 39.08 / Standard 37.52 |
| 有标签 4B | 54.58 | Open-MOPD 52.37 / Standard 50.63 |
同尺寸无标签上 ExpertAlign 相对 Mean +5.88（+12.3%），有标签上相对 Standard MOPD +3.95（+7.8%）且没用那些标签。Entropy 几乎打平 Mean：数学老师熵系统性更低，路由会偏向它。Novelty 在强到弱里靠可达性从 34.12 拉到 36.70；同尺寸下拿掉可达性反而高 0.55 分，因为 4B 学生和老师的局部支撑已经对齐。
消融更硬。只做正对齐门控、均分保留老师，已经比 Mean 高 1.22–4.75 分；再按余弦加权，每个领域再涨 1.62–3.34 分。有标签集上，去掉跨领域老师 Overall 掉 2.40 / 2.75 分，改成整段固定混合再掉 3.62 / 1.97 分。同尺寸训练下，揉出来的学生在数学和代码上超过对应 RL 老师。ExpertAlign 相对标准 MOPD 的 token 归一化成本是 1.18×（716.9 vs 692.9 GPU-hour，八张 H20）。
MOPD 已经是前沿后训练的共识协议，卡点在老师怎么派。这篇说明题目标签不是必需品：逐 token 的分布信息就够把互补监督用上，混合数据不必先过一轮打标。ExpertAlign 的设计选择也清楚：路由依据该是「老师会不会把它的后训练专长施到当前学生身上」，不是「谁更自信」。代价是多一次共享基座前向和 top-k 统计，1.18× 对这条管线不算劝退。
老师池只有三份同族 Qwen3，隔开了架构和预训练差异，更大、异构的老师池还没测。指标靠经验直觉，没有统一设计框架。ExpertAlign 依赖老师共享 pre-RL 基座，这是工业 MOPD 的常见设定，换基座就要改成各自的 pre-RL 检查点。主结果多数设置没有多种子；同尺寸有标签那组补了三种子和 paired bootstrap，ExpertAlign 显著好于 Mean 和 Standard MOPD，对 Open-MOPD 是更好或打平。训练超参（3 epoch、batch 1024、lr 1e-5）绑死在这份 Qwen3 设置上。