Apple研究：揭示On-Policy蒸馏的有效边界
Apple ML Research · rss · 2026-07-09
Apple ML Research 发文探讨了在训练推理模型时，On-Policy 蒸馏（在线策略蒸馏）在何种条件下有益、何种情况下有害。 文章指出，尽管该方法能为每个 token 提供密集的监督信号，但选择何种教师模型、自蒸馏时使用何种上下文，以及最优选择是否随 token 变化等问题通常需要昂贵的训练才能验证。为此，研究团队提出了一种无需训练的诊断方法，以揭示单个 token 级别的动态变化。