OPD 的作用、病理与规制
Rui Wang · hf · 2026-07-17
On-policy distillation 的作用、病理与规制
这篇论文系统研究了 On-Policy Distillation（OPD） 在 LLM 后训练中的作用和失效模式。作者的核心结论是：OPD 更像一种“探索催化剂”，它能通过密集的 token 级指导把学生模型推向正确推理路径，但并不会抬高能力上限。
主要发现
- 提示多样性 比单题采样次数更重要
- OPD 的效果完全依赖指导信号质量
- 关键不是 teacher 有多大，而是 signal 是否可靠
两个病理
- Student-Teacher Mismatch：师生分布差距过大时，指导信号会把探索带偏，反而朝错误方向走
- Length Exploitation：token 级目标容易被长度作弊利用，比如截断或冗余填充，模型探索到的是“坏的长度模式”而不是推理策略
规制手段
作者测试了轻量规制方法，包括：
- advantage clipping
- log-scale compression
这些方法能缓解长度投机，让蒸馏更稳定。实验覆盖 7 个 benchmark，结果显示规制后的 OPD 持续优于 OPD 变体和 RLVR 基线。
「研究」频道最新
- JockeyBench：用日本赛马评测 LLM Agent 的重复事件预测能力 — Zhongwei Xie · 2026-10-27
- 斯坦福 PaperFormalizer：把论文自动转成 Lean 验证版本 — StanfordUniversity · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27
- TRL 异步 GRPO 训练器默认启用 score centering + masked importance sampling — _lewtun · 2026-10-27
- EMNLP 2026 两篇论文：小模型实体追踪超人类、类人短暂记忆研究 — GretaTuckute · 2026-10-27
- 历时十年研究：秘鲁 Tarma 克丘亚语的「反自然」音系限制首获实证 — begusgasper · 2026-10-27