新论文理论剖析 On-Policy 蒸馏:序列级目标存在未来一致性偏差
kalyan_kpl · x · 2026-11-20
arXiv 论文《Which Tokens, in What Order, and How Fast?》对 on-policy distillation(OPD)目标函数做了系统的理论分析,回答了「优先学哪些 token、按什么顺序、效率如何」三个问题。
核心结论:
- 序列级 OPD 存在「未来一致性偏差」:它先匹配教师在后段 token 位置的行为,而在前段位置可能偏好教师在下分布中概率很低(往往不可取)的 token;短视的 token 级目标可避免此偏差,导致一种「反向学习顺序」
- 散度选择强烈影响优化难度:前向 KL 目标景观良好;reverse KL 等 f-散度即使在师生分布相差很远时也会出现梯度消失
- 结论在多个语言模型后训练设定中得到实证验证
对实际使用 OPD 做蒸馏/后训练的团队,这篇论文为「该选序列级还是 token 级、该用哪种散度」提供了理论依据。
所属事件:理论分析拆解 on-policy 蒸馏的序列级与 token 级目标选择(2 条相关)→
「研究」频道最新
- 开发者开源模型逐叶分析 CT,79 秒量化肺气肿分布 — MaziyarPanahi · 2026-11-22
- 「生物学没有 Lean」:活细胞是唯一能跑自身计算的物理基质 — JosephJacks_ · 2026-11-22
- Eric Horvitz 与 Tom Mitchell 合著论文:AI 科学进展的历史、现状与未来 — ArtificialOther · 2026-11-22
- 医学 AI 访谈:模型满分诊断仍受限于人类共识标签 — CurieuxExplorer · 2026-11-22
- Science 封面:Google Willow 芯片上实现 105 量子比特语境性实验 — dhruv2038 · 2026-11-22
- P=NP 若被证明将如何击穿现代密码学体系 — doctorBobG · 2026-11-22