NVIDIA研究质疑在线蒸馏优势

NVIDIA 实习期间完成的研究质疑「on-policy 采样总是更好」的蒸馏共识。团队跨 17 组教师-学生模型对(规模覆盖 1.5B–235B)进行实验,提出 Semi-OPD 方案:直接在初始学生模型的离线 rollout 上蒸馏。结果显示该更简单的替代方案在 14 组对比中胜过在线蒸馏,表明 on-policy 蒸馏并非总是必要。

2026-10-12 ~ 2026-10-13 · 3 条相关

• NVIDIA 研究：离线学生轨迹蒸馏在 17 组对比中 14 次胜过在线蒸馏 — nvidia · 2026-10-12
• NVIDIA 实习论文:17 对模型实验显示离线蒸馏常胜过在线采样 — siyan_zhao · 2026-10-13

另有 1 条近重复转述:siyan_zhao