理论分析拆解 on-policy 蒸馏的序列级与 token 级目标选择

Noam Razin 发布理论分析线程,配合 arXiv 新论文《Which Tokens, in What Order, and How Fast?》,系统研究 LM 后训练中日益核心的 on-policy 蒸馏(OPD)目标函数选择问题。由于 OPD 目标众多,实践中的取舍缺乏理论依据,该工作对序列级与 token 级目标进行比较分析,并指出序列级目标存在未来一致性偏差,为 OPD 目标的设计与选用提供了理论指导。

2026-11-20 ~ 2026-11-20 · 2 条相关