OPSD 论文：自蒸馏提分不靠正确答案，无参考解反涨2.2点
HanGuo97 · x · 2026-10-28
arXiv 论文《Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models》(OPSD) 探讨了一个反直觉问题：自蒸馏为什么会有效？
- 机制：同一个 LLM 既当老师又当学生——老师策略可看到特权信息（如参考解答），学生策略只看到问题，在学生自身 rollout 上最小化逐 token 分布差异。
- 关键消融：对比老师拿到「正确参考解 / 无参考解 / 无关参考解」三种情况，准确率提升分别为 +1.9 / +2.2 / +2.0 个百分点（见配图）——正确的参考解并非必要，甚至没有参考解反而最好。
- 结论：自蒸馏的有效性并非来自老师「知道答案」，特权信息的具体内容似乎无关紧要，作者进一步追问到底是什么在起「教学」作用。
- 整体结果：在多个数学推理 benchmark 上，OPSD 相比强化学习方法有更高的 token 效率，优于 off-policy 蒸馏。
「研究」频道最新
- CMen 发布 Gym-Anything-RT:最强模型实时任务仅得 9%,人类达 45% — wellecks · 2026-10-28
- 152人盲测：Suno与人类作曲打平，听众几乎分不出谁是谁 — teropa · 2026-10-28
- 论文附录设"幕后花絮"章节，保留研究过程的真实直觉 — benno_krojer · 2026-10-28
- EMNLP 2026 圆桌：如何衡量 AI 与 NLP 的社会正向影响 — ZhijingJin · 2026-10-28
- 百度 oHC 用四元数做正交残差连接,3.9B 模型 BPB 降 6.2σ — teortaxesTex · 2026-10-28
- 研究指出:让人类笑出声仍是 AGI 级难题 — korymath · 2026-10-28