前沿模型训练利器：On-policy 蒸馏并非免费午餐

heghbalz · x · 2026-07-22

随着 On-policy 蒸馏（OPD）成为 DeepSeek、MiMO 等众多开源前沿模型后训练的默认工具，其潜在的缺陷逐渐显现。OPD 结合了强化学习（RL）的 on-policy 特性以减少暴露偏差，同时提供类似 SFT 的 token 级监督。

然而，专家指出 OPD 存在固有的失败模式：早期错误的结构性不可逆。当学生模型在生成序列初期走错方向时，基于该固定路径计算的 token 级 KL 散度无法将其拉回正轨。这被证明是目标函数本身的缺陷，而非梯度噪声所致，意味着即使拥有完美的教师模型，也无法纠正这种结构性的学习偏差。