NVIDIA 实习论文:17 对模型实验显示离线蒸馏常胜过在线采样
siyan_zhao · x · 2026-10-13
作者在 NVIDIA 实习期间的研究质疑「on-policy 采样总是更好」的蒸馏共识:在 17 对教师-学生模型上,一种简单替代方案 Semi-OPD——直接在初始学生的离线 rollout 上蒸馏——在 14/17 个案例中比在线策略蒸馏(OPD)效果更好且更快。
关键发现是收益与初始师生对齐度强相关(Pearson r = -0.73):当师生分布差异大时,在线的学生 rollout 会退化并漂移到教师无法提供有效监督的区域,而初始学生的 rollout 反而提供更干净稳定的信号;对齐度高的配对(如 R1-Distill 系列)则 OPD 更优。
实验覆盖 Qwen3 系列、R1-Distill、Nemotron-Cascade 等 thinking 与 non-thinking 配对。
「研究」频道最新
- tszzl 预测:机械可解释性将迎来多年未见的进展潮 — tszzl · 2026-10-13
- 数学Discord社区推出免费机器学习工作坊，10月17日开课 — zeroalephzeta · 2026-10-13
- 无需哈希表零额外内存，ciphergoth 开源 O(k log k) 无放回采样算法 — burny_tech · 2026-10-13
- 新论文用欠阻尼二阶动力学解释 Mamba-3 状态旋转的振荡作用 — tri_dao · 2026-10-13
- Cirillo 新论文给出首违约篮子互换的精确定价与风险归因框架 — DrCirillo · 2026-10-13
- 一张分层图论推理算法,你能认出图中画的是什么吗 — Sauers_ · 2026-10-13