研究称同策略蒸馏增益源于抑制低概率 token，无需教师

论文《Does On-Policy Distillation Really Distill?》研究了同策略蒸馏（OPD）的实际机制，发现其推理能力提升并非来自有意义的教师指导：强模型打分的反馈存在噪声，但学生模型仍能进步。收益主要来自抑制学生自身采样的低概率 token。基于这一洞察，作者提出无需教师的 On-Policy Self-Ada 训练方法，表明强教师并非推理模型训练的必要条件。

2026-09-01 ~ 2026-09-03 · 4 条相关

• 研究：同策略蒸馏主要抑制低概率 Token — Purdue · 2026-09-01
• 论文揭示策略蒸馏并非依赖教师，模型可自我改进 — _akhaliq · 2026-09-02
• 推理模型训练无需强教师，低概率token更新更关键 — burkov · 2026-09-02
• 论文揭示 on-policy 蒸馏增益来自抑制低概率 token,无需教师 — burny_tech · 2026-09-03