蒸馏近乎满分,分布外却比底座低至多 16%:OPD 能力合并盲区

On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation

Yichen Wang, Yufa Zhou, Siqi Zhu, Haozheng Luo, Jingzhi Bao, Zhichao Liu, Zijun Wei

cs.LG

2026-11-04

Qwen3 实测 on-policy 蒸馏:IND 追平教师,OOD 却比底座低至多 16%,组合任务落后最强教师 24%。

这篇在解决什么

前沿模型的后训练流行一种分工:数学、代码、agent、长文本各练一个专家教师,再把能力合并进一个学生。多教师 on-policy 蒸馏(MOPD)是常用的合并手段,此前报告的蒸馏成绩近乎完美。

问题在于验收几乎全在训练分布内(IND)做。合并的本意是学生既拿到教师的提升,又保住底座能力,还能在监督范围之外照常工作,IND 近满分不保证后两条。ByteDance 与芝加哥大学等机构的团队用系统实验给出结论:近乎完美的 IND 蒸馏,可以和 OOD 遗忘、组合能力缺失同时存在。

方法

OPD 让学生模型在自己采样的轨迹上训练,教师给出每个位置的下一词分布,逐 token 最小化反向 KL。状态分布像 RL,监督信号像蒸馏,所以收敛很快。MOPD 再把多个域的 OPD 目标按混合权重加总,每个域固定一个教师。实验分三层:

文末另有两个补救:Procrustes patching 在蒸馏后把 OPD 参数更新对齐到 RL 教师更新、减去对不上的残差;base-preserving replay 往蒸馏数据里混入由底座当教师的 prompt。

结果

预备实验先给出信号:蒸馏率在预训练范围约 96-104%、后训练范围 93-96%,到 15-17 步的 OOD 掉到 76-86%。

设置指标结果
单教师 OPD(三个数学训练集)IND 蒸馏率教师 IND 均分的 97.10%
同上OOD 相对底座低 8.56 个百分点(10.78%)
MOPD(两两与三教师混合)OOD 相对底座平均低 11.18 个百分点(14.07%)
Qwen3-32B→8B 外部教师IND / OOD99.34% / 仍低 2.96 个百分点
三组组合任务相对最强教师低 18.19%-24.34%

两个限定:换 32B 外部教师救不了,学生在 OOD 上照旧低于底座;(M)OPD 的遗忘比 RL 基线轻,单教师场景比教师少 25.09%,MOPD 比 mixed RL 少 28.92%。蒸馏不是遗忘的源头,只是没把它修好。

组合泛化最扎眼。数学+长文本组里 MOPD 把 LongBench-v2 从 40.50 拉到 56.20、GSM8K 从 83.40 到 95.53,组合任务仍比最好的教师低 24.3%;代码+长文本更极端,三个组件基准全涨,LongBench-v2 Code 停在底座的 44.00,两个教师是 50.00 和 58.00。

机制上定位出教师能力与数据覆盖两个瓶颈:32B 教师配 10% OpenR1 拓宽数据后,学生五个基准全部超过底座,AIME24/25 pass@8 追平教师(86.67/83.33),AMC23 到 100.00、反超教师的 95.00。几何分析给出解释视角:OPD 更新范数只有 RL 的 55.4%(0.154 对 0.278),能量更集中(top-64 奇异方向占 69.0%,RL 为 39.9%),MOPD 更新与单教师更新的共享结构也远强于 mixed RL(子空间可解释度 11.0%-18.6%,mixed RL 不足 0.24%)。

补救的数字:Procrustes patching(α=0.40)把 AIME25 avg@8 从 60.83 拉到 65.00,距底座 0.83 个百分点,GSM8K 保持 93.48;base-preserving replay 赢下八个 OOD 基准中的五个,AIME25 avg@8 加 6.67 到 67.50,同时超过底座与 RL 教师,GSM8K 只掉 0.18。

为什么重要

这条结论直接打到后训练流水线的验收方式:只在训练分布内打分,能力合并失败的模型也能拿着近满分毕业。跑 MOPD 的团队应该把 OOD 保留和组合任务写进门槛,这两个数字和 IND 蒸馏率是脱钩的。

补救也便宜:混 10% 更宽的数据、让底座当一部分数据的教师、事后做一次参数对齐修补,都是流水线里能直接加的动作。蒸馏目标里缺一条显式的保底座约束,补上就有收益。

局限与存疑

论文自述的局限:学生固定 Qwen3-8B、最大教师 32B,容量与模型族依赖没探清(Qwen3-235B-A22B 上的小规模初步实验显示限制在更大尺度上并不轻微);OOD 标签按后训练数据划分,不代表预训练没见过;MOPD 与 mixed RL 未调混合权重与课程,属开箱即用对比;没有重复训练种子,只在 10% 评测题上用四个采样种子做过检查;任务能从 verifier 反馈直接学会时,带 warmup 的 mixed RL 能反超 MOPD,这个优势是有条件的。

还有两点要留神。「拓宽数据消除遗忘」那组加的 OpenR1 本身覆盖更难的题,消掉的可能是分布偏移本身,AMC23 反超教师是「泛化超越教师」仅有的硬证据;几何性质与泛化的联系论文明说是假设、没做因果实验,patching 还需要一个额外训好的 RL 教师参数当对齐目标,只做蒸馏的流水线未必有这个工件。

术语

原文与代码

相关论文

全部论文解读