The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
Hao Li, MeiJia Chen, Weijie Ren, Donghan Li, Zijun Tian, Jingchun Huang, Naibo Wang
cs.LG
2026-09-29
RIDE 在隐层空间沿教师与 pre-RL 检查点之差外推蒸馏目标,四组模型对上全部反超 RL 教师,输出空间外推则全面失效
On-policy distillation(OPD,学生在自己采样的轨迹上逐 token 接受教师监督)是大模型后训练的常规阶段,但它把教师当终点:学生最好也就是追平。近来的推广版本 ExOPD 把教师对参考模型的 log 概率比当隐式奖励,放大它能让学生超过教师,代价是训练不稳,系数一大就崩。
这篇先给了机制解释。语言模型的输出头(LM head)虽是线性的,对各方向的放缩却极不均匀:教师与 base 检查点之差的 79.8% 隐层能量落在 head 最弱的 512 个方向上,这些方向只贡献 30.0% 的 logit 能量。RL 对模型内部的改动,到 logit 层面只剩零头,输出空间的损失几乎监督不到,下层更是完全不管。采样 token 的 log-ratio 还自带噪声,外推系数把这个噪声按 (λ−1)² 放大。
RIDE 的设定很具体:教师由 base 检查点做 RL 得到,学生就从同一个 base 初始化,三个模型共享表示空间。学生 rollout 之后,冻结的教师和 base 在同一串 token 上各做一次前向,每层每个位置取差得到 RL 残差 Δ = hT − hB,回归目标放到教师之外:
h = hT + (λ−1)Δ = λhT + (1−λ)hB
学生隐状态对 h 逐层做 MSE 回归,监督全部层和最后 2,000 个回复位置。几个关键选择:
四组 base/RL 教师对,AIME24、AIME25、AIMO 的 Avg@16(%),三个训练种子平均:
| 方法 | R1-Distill-1.5B | Qwen3-4B | Llama-3.2-3B | Phi-4-mini |
| RL 教师 | 55.30 | 65.59 | 13.01 | 17.96 |
| 未训练学生 | 39.00 | 62.82 | 6.99 | 15.13 |
| OPD top-1 | 52.90 | 59.24 | 1.08 | 12.90 |
| OPRD | 54.50 | 62.01 | 10.94 | 17.33 |
| ExOPD | 49.87 | 48.75 | 6.95 | 12.22 |
| RIDE | 56.38 | 66.07 | 13.33 | 18.30 |
RIDE 是唯一在四组上平均分都高于 RL 教师的方法;对 OPRD 领先 0.97 到 4.06 分,对 ExOPD 平均领先 9.1 分。ExOPD 四组全部低于教师,在 Qwen3-4B 上比没训过的学生还低 14.1 分:教师离 base 近(差距 2.8–6.0 分)时,采样噪声主导了外推信号。
系数扫描把两种空间的差别摆得很清楚。RIDE 从 λ=1 的 54.3 升到 λ=1.25 的峰值 55.4,区间 [1.15, 1.35] 内全优于 OPRD,λ=2 也只温和降到 52.4;ExOPD 任何 λ>1 都变差,λ=2 掉到 46.2,格式分从 92% 跌到 64%,回复拉长到 8,700 token。实测 ExOPD 的条件方差从 λ=1 到 λ=2 涨 12.6 倍,RIDE 为零。
方向消融排除了「只是换种正则」的解释:同范数随机方向、反向外推、换成不同血统的 origin、在错位轨迹上算残差,四个对照全落在 OPRD±1 分内,只有真残差给到 56.38。
改动很小、归因清楚:只改 OPRD 的目标构造,机制分析和消融把收益钉在 RL 残差本身。适用场景明确,把昂贵的 RL 运行蒸回 base 模型、合并共享 base 的 RL 专家。在这些场景里,它目前是唯一稳定超过教师的蒸馏方案。边界也明确:教师和 base 必须共享结构与 tokenizer,黑盒或异构蒸馏用不了。
作者自列:需要 pre-RL 检查点和共享表示空间;单一全局 λ;只在数学推理、单一 RL 配方(JustRL)下验证;学生被往「没有任何模型产生过的隐状态」上监督,校准与安全未测,教师被 RL 放大的偏差可能被进一步放大。数字上还有三点:四组里三组超教师的幅度在一个种子标准差之内;Llama-3.2-3B 的 AIME 接近评测地板,该组证据主要靠 AIMO;λ=1.25 在 R1 对上扫出,其余三组未单独调参。全部结论来自 500 步、4×H200 的预算,更长训练的行为未知。