OPD 的作用、病理与规制
Rui Wang · hf · 2026-07-17
## On-policy distillation 的作用、病理与规制 这篇论文系统研究了 **On-Policy Distillation（OPD）** 在 LLM 后训练中的作用和失效模式。作者的核心结论是：OPD 更像一种“探索催化剂”，它能通过密集的 token 级指导把学生模型推向正确推理路径，但并不会抬高能力上限。 ### 主要发现 - **提示多样性** 比单题采样次数更重要 - OPD 的效果完全依赖指导信号质量 - 关键不是 teacher 有多大，而是 signal 是否可靠 ### 两个病理 - **Student-Teacher Mismatch**：师生分布差距过大时，指导信号会把探索带偏，反而朝错误方向走 - **Length Exploitation**：token 级目标容易被长度作弊利用，比如截断或冗余填充，模型探索到的是“坏的长度模式”而不是推理策略 ### 规制手段 作者测试了轻量规制方法，包括： - advantage clipping - log-scale compression 这些方法能缓解长度投机，让蒸馏更稳定。实验覆盖 7 个 benchmark，结果显示规制后的 OPD 持续优于 OPD 变体和 RLVR 基线。