理论分析拆解 on-policy 蒸馏的序列级与 token 级目标选择
Noam Razin 发布理论分析线程,配合 arXiv 新论文《Which Tokens, in What Order, and How Fast?》,系统研究 LM 后训练中日益核心的 on-policy 蒸馏(OPD)目标函数选择问题。由于 OPD 目标众多,实践中的取舍缺乏理论依据,该工作对序列级与 token 级目标进行比较分析,并指出序列级目标存在未来一致性偏差,为 OPD 目标的设计与选用提供了理论指导。
2026-11-20 ~ 2026-11-20 · 2 条相关
- 理论分析拆解 on-policy 蒸馏:序列级与 token 级目标该怎么选 — heghbalz · 2026-11-20
- 新论文理论剖析 On-Policy 蒸馏:序列级目标存在未来一致性偏差 — kalyan_kpl · 2026-11-20