OPD 的作用、病理与规制
Rui Wang · hf · 2026-07-17
On-policy distillation 的作用、病理与规制
这篇论文系统研究了 On-Policy Distillation（OPD） 在 LLM 后训练中的作用和失效模式。作者的核心结论是：OPD 更像一种“探索催化剂”，它能通过密集的 token 级指导把学生模型推向正确推理路径，但并不会抬高能力上限。
主要发现
- 提示多样性 比单题采样次数更重要
- OPD 的效果完全依赖指导信号质量
- 关键不是 teacher 有多大，而是 signal 是否可靠
两个病理
- Student-Teacher Mismatch：师生分布差距过大时，指导信号会把探索带偏，反而朝错误方向走
- Length Exploitation：token 级目标容易被长度作弊利用，比如截断或冗余填充，模型探索到的是“坏的长度模式”而不是推理策略
规制手段
作者测试了轻量规制方法，包括：
- advantage clipping
- log-scale compression
这些方法能缓解长度投机，让蒸馏更稳定。实验覆盖 7 个 benchmark，结果显示规制后的 OPD 持续优于 OPD 变体和 RLVR 基线。
「研究」频道最新
- 数学家 Daniel Litt 上线问题库,15 题仅 1 题被解,用来追踪 AI 解题进度 — littmath · 2026-09-11
- AI 智能体协作优化 secp256k1 量子电路,挑战打破 ECDSA — StefanoGogioso · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- 本周热议的数学猜想到底关我什么事?一张普通人视角清单 — koltregaskes · 2026-09-11
- 用果蝇大脑连接组造了个 LLM,作者放出在线 demo — ngxson · 2026-09-11
- 社会学家 Harry Collins：LLM 无法发明新语言，做不了前沿科学 — whoamisri · 2026-09-11