研究 17 对师生模型:半在线蒸馏 Semi-OPD 在 14 对中胜过 OPD
siyan_zhao · x · 2026-10-13
Siyan Zhao 等研究「on-policy 采样是否总是蒸馏的最优选择」:跨 17 组教师-学生模型对实验发现,一种更简单的替代方案——用初始学生模型自己的离线 rollout 做蒸馏(Semi-OPD)——在 14/17 组中比在线 on-policy 蒸馏(OPD)效果更好且更快。收益与学生与教师的初始对齐程度强相关:当两者对齐较差时,在线学生 rollout 反而可能拖累蒸馏效果。作者感谢 NVIDIA 等机构的合作者与导师。
「研究」频道最新
- 自动化科研仍需百万研究年？研究者看好模拟实验优势 — gleech · 2026-10-13
- SonicBoom：无 Python 的 C++ 推理运行时，解码快 llama.cpp 14% — nalaginrut · 2026-10-13
- NeurIPS Spotlight 论文：视频扩散模型内部编码了物理规律 — katjahofmann · 2026-10-13
- 并行采样为何胜过顺序自反思:推理模型扩accuracy的关键取舍 — burkov · 2026-10-13
- CrossTimeEdit:跨十年街景数据集与奖励引导的历史街景生成 — SunYatsen · 2026-10-13
- Thurston 经典论文《论数学中的证明与进步》PDF 分享 — FrnkNlsn · 2026-10-13