论文揭示 on-policy 蒸馏增益来自抑制低概率 token,无需教师
burny_tech · x · 2026-09-03
论文《Does On-Policy Distillation Really Distill?》(Yi Ding, Ruqi Zhang) 对 on-policy 蒸馏(OPD)的有效性来源做了定量拆解,结论出人意料:
- 教师信号噪音很大:教师给学生自身生成的轨迹打分,本身是 off-policy 的,监督信号含大量噪声,且教师规模越大噪声越多。
- 学生对噪声不敏感:保留或去掉噪声监督,最终性能几乎一样——教师基本上没“蒸馏”什么东西。
- 增益真正来源:学习集中在低对数概率 token 上,用单一的固定负优势替代教师打分,性能完全相当。即 OPD 主要是压制低概率尾部 token。
据此作者提出无监督方法 On-Policy Self-Adaptation (OPSA):用熵自适应负优势,在高熵位置施加更强学习信号、压制尾部 token,并在头部 token 间均匀重分配概率质量。
效果:相比基座 Qwen3-1.7B,OPSA 在 AIME24 上 Avg@32 提升 35.41 分(相对提升 263%),三个基准的 Pass@32 均翻倍以上;在 AIME24 的 Avg@32 上超过 OPD 16.77 分,且跨模型家族与任务验证了泛化性。
所属事件:研究称同策略蒸馏增益源于抑制低概率 token，无需教师(4 条相关)→
「研究」频道最新
- 定位探针检测机制:仅 user token 隐状态与单个注意力头决定行为 — Sauers_ · 2026-10-18
- 训练模型「被观测时说谎」:探针在场时才改变动物偏好 — Sauers_ · 2026-10-18
- Qwen3-8B 实验证实:连只读探针都会被模型察觉 — Sauers_ · 2026-10-18
- 仅微调最后两层，模型就能察觉只读探针的存在 — Sauers_ · 2026-10-18
- 用哥德尔 β 函数在皮亚诺算术里编码图灵机纸带 — jessi_cata · 2026-10-18
- 用纯加减乘除模拟图灵机:把纸带编码成一个自然数 — jessi_cata · 2026-10-18