Do We Really Need KL Divergence for On-Policy Distillation of Large Language Models?
Wenze Lin, Jiyuan Long, Jiale Zhao, Shenzhi Wang, Xitai Jiang, Ce Luo, Rui Lan, Qianli Ma, Fukang Wen, Hui Wu, Liyuan Chen, Shuoling Liu, Jiangpeng Yan, Gao Huang
cs.LG, cs.AI
2026-09-28
把在线蒸馏的 reverse KL 换成只保留方向的 ±1 奖励,七个师生对成绩持平略好；决定成败的高分歧 token 不足 2%,由此设计的 C-MOPD 把 LiveCodeBench v6 从 27.9 提到 32.9。
On-policy distillation(OPD,在线蒸馏)是近两年 LLM 后训练的热门路线：学生自己生成回答，教师模型在每个 token 位置给出完整分布，学生用 reverse KL 散度逐 token 逼近教师。监督比 RL 的轨迹级奖励密集，又贴合学生自己的分布，DeepSeek、GLM、Kimi 的后训练都用到这条路线。
因为是「蒸馏」,OPD 顺理成章继承了 Hinton 2015 年以来的默认损失 KL 散度。这篇把这个没人细究的设定翻出来问了：KL 里的幅度信息到底在不在干活？答案基本是不在。只保留「教师比学生更偏好还是更不喜欢这个 token」的方向，训练动力学与 reverse KL 几乎一致，基准成绩持平略好。顺着这个发现，论文还处理了多教师在线蒸馏(MOPD)里一个领域的更新侵蚀另一个领域的问题。
丢掉幅度为什么还能训？论文给了一个反馈回路的解释：OPD 访问的状态高度冗余，附录 A 里状态库扩大 29 倍，带 ≥0.99 余弦近邻的新状态比例只从 10.4% 升到 18.4%。同一片状态被反复访问，方向信号成了闭环控制，推过头符号自动反转，靠迭代逼近 KL 想一次编码的修正量。
数学五个师生对、代码两个，数据集 DAPO-Math-17k、DeepMath、Eurus,avg@8 口径：
| 设置 | OPD | BinaryOPD |
| Qwen3-4B 数学对，六基准平均 | 64.1 | 65.1 |
| Qwen3-1.7B-Base 数学对 | 21.2 | 22.2 |
| Llama-3.2-3B 数学对 | 18.2 | 17.9 |
| Qwen3-4B 代码对 | 55.4 | 55.2 |
训练准确率、熵、响应长度、梯度范数四组曲线两边几乎重合，方向信号足以复现 reverse KL 的训练模式。
关键 token 实验更尖锐：只留 A 组、不到 1.5% 的 token 给 +1,平均 64.5,不低于 OPD 的 64.1;并入不到 5% 的 C 组，平均掉到 40.3,训练失败。负奖励一侧对称：只留 C 组能训，并入 A 组就崩。占九成以上的低分歧 B 组，方向给错也只是轻微降级，不致命。
多教师设置里，学生 Qwen3-4B-Non-Thinking 配数学、代码两个 RL 教师，C-MOPD(ε=0.8)全面超过 MOPD:LiveCodeBench v6 从 27.9 到 32.9,AIME24 从 60.0 到 61.3,AMC 从 86.4 到 88.0。保守的 ε=0.0 版本零奖励比例一路涨过 90%,大量 token 因教师冲突被跳过，最后只与 MOPD 打平。
这篇把 OPD 的必要成分拆得很干净：KL 的幅度可以丢，多数 token 的方向可以不管，蒸馏损失的工程空间因此能大幅简化。蒸馏与 token 级 RL 的边界也模糊了，BinaryOPD 本来就是把教师当奖励函数的逐 token RL。
C-MOPD 是能直接搬走的部分。按领域路由造成的跷跷板，用「全体投票、冲突弃权」换来 LiveCodeBench v6 五分收益，改的只是奖励规则，没有额外模型开销。
附录 B 还测了 verifier 信号：整个反转，答对的轨迹只给非正奖励、答错的只给非负奖励，成绩不掉，1.5B 师生对上 Verifier-Conflicted 平均 55.1,高于 Verifier-Aligned 的 54.4。OPD 与 RLVR(用可验证答案做奖励的强化学习)组合的那批设计里，verifier 贡献了什么，需要重新审视。
论文没有单列局限小节，边界都藏在实验设置里。
BinaryOPD 的优势全在一分以内：Llama-3.2-3B 一对 17.9 对 18.2 落后，两个代码对分别低 0.2 和 0.4,诚实的说法是持平而非更好。实验全部落在数学与代码这类可验证领域，没有开放生成、指令遵循和 agent 任务；规模以 1.5B 到 4B 为主，最大是 30B-A3B。关键 token 分析覆盖两个师生对、三个 ε 值，「不足 2%」这个数对阈值敏感。C-MOPD 只用两个教师验证过，教师更多时投票规则怎么退化没有讨论。verifier 反转实验建立在 BinaryOPD 上，对标准 KL 版 OPD 是否同样成立，论文没有单独检验。