NVIDIA 研究：离线学生轨迹蒸馏在 17 组对比中 14 次胜过在线蒸馏
nvidia · hf · 2026-10-12
NVIDIA 论文质疑 on-policy 蒸馏（OPD）是否总是必要，提出 Semi-OPD：在初始学生模型的离线 rollout 上蒸馏。
- 覆盖 1.5B–235B 的 17 组师生配对中，Semi-OPD 在 14 组胜出，准确率最高 +13.6%，训练提速最高 11.4 倍。
- 提出输出 token 重叠率来刻画师生初始对齐度：只有高重叠（高对齐）时 OPD 才有优势；错配配对中，学生 rollout 随上下文变长对教师越来越 off-policy，蒸馏信号被稀释。
- Semi-OPD 在更短上下文上蒸馏，同时覆盖完整轨迹、让学生见到更多教师偏好的 token，因此更稳定。
「研究」频道最新
- Michael Levin 发布实验室研究入门资料包，从科普到论文全覆盖 — drmichaellevin · 2026-10-12
- 模型与 harness 是协同设计系统：同一模型在 SWE-bench 上得分大不相同 — GaryMarcus · 2026-10-12
- DeepMind AlphaProof Nexus 解数十道数学开放题并过同行评审 — The Decoder · 2026-10-12
- 论文揭示 LLM 预训练中推理能力不稳定,反复在浅层启发式与泛化计算间跳跃 — thomasahle · 2026-10-12
- tACS 调节脑α节律可减少 McGurk 错觉语音感知 — AnnaCiaunica · 2026-10-12
- PlaySuite 基准:5734 款游戏实测 14 个开源模型的视觉智能 — cgmsnoek · 2026-10-12