阿里提出 Waypoint-OPD:用方向一致性门控蒸馏 RL 策略迁移

Bingxi Hou · hf · 2026-10-16

阿里云团队提出 Waypoint-OPD，改进策略偏移蒸馏（policy-shift distillation）方法。现有做法把教师模型 RL 前后的 logit 差异作为学生轨迹的监督信号，但端点偏移无法反映训练过程中局部动作偏好是否一致演化，早期与晚期偏移可能相互抵消或部分抵消。

Waypoint-OPD 利用同一 RL run 中的中间检查点（waypoint），比较学生所访前缀上早期与晚期教师策略偏移的方向一致性，仅在方向一致时门控放行端点偏移，方向相反时抑制。相比仅用端点迁移，只需额外一次冻结教师打分，开销极小，即在 Qwen3-4B 教师蒸馏 Qwen3-8B/14B/30B 等学生上提升推理性能。