新论文理论剖析 On-Policy 蒸馏:序列级目标存在未来一致性偏差

kalyan_kpl · x · 2026-11-20

arXiv 论文《Which Tokens, in What Order, and How Fast?》对 on-policy distillation(OPD)目标函数做了系统的理论分析,回答了「优先学哪些 token、按什么顺序、效率如何」三个问题。

核心结论:

对实际使用 OPD 做蒸馏/后训练的团队,这篇论文为「该选序列级还是 token 级、该用哪种散度」提供了理论依据。

所属事件:理论分析拆解 on-policy 蒸馏的序列级与 token 级目标选择(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →