RIDE：在表示空间外推 RL 方向，让蒸馏学生模型逼近或超越 RL 教师模型

Hao Li · hf · 2026-10-01

问题：On-policy 蒸馏（OPD）的广义变体希望在输出空间外推隐式奖励让学生超越教师，但 LM head 会各向异性地衰减隐状态变化，且输出空间 log-prob 比值含噪声，训练不稳定。
观察：RL 会使模型内部表示相对 base checkpoint 产生偏移，且该偏移方向可在每一层测量。
方法 RIDE：直接在表示空间外推 RL 诱导的变化——每层每 token 位置计算教师与其 pre-RL checkpoint 之间的残差，将学生隐状态回归到沿残差方向越过教师的目标点。数学上等价于在教师为中心的二次惩罚下最大化由残差定义的线性方向奖励。
结果：在跨规模、架构和预训练谱系的四组 base/RL-teacher 配对上，RIDE 是唯一平均意义上接近或超过 RL 教师的方法，且稳定优于输出空间外推（后者在教师接近 base 时反而劣化学生）。

「研究」频道最新