理论分析拆解 on-policy 蒸馏:序列级与 token 级目标该怎么选

heghbalz · x · 2026-11-20

Noam Razin 发布了一组理论分析线程,研究 LM 后训练中日益核心的 on-policy distillation(OPD)目标函数选择问题。由于 OPD 目标众多,实践中并不清楚该选哪种,这项工作从理论上剖析不同选择如何影响学生模型学到什么内容以及学习速度。配图显示分析覆盖 sequence-level 与 token-level 两个层级的对比,以及 Forward KL 与 Reverse KL 两类散度的几何差异,属于对蒸馏训练的理论性指导工作。

所属事件:理论分析拆解 on-policy 蒸馏的序列级与 token 级目标选择(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →