研究拆解特权参考在自蒸馏中的作用:收益远比想象小
NationalUniversityofSingapore · hf · 2026-09-18
论文系统检验 on-policy 自蒸馏（OPSD）中给教师「看答案/看解答」这一特权信息到底贡献几何。
- 数据：构建 AMPLE-Math，含 5,319 道数学题、每个答案对应六个推理视图，与无参考蒸馏逐一对照
- 发现：无参考蒸馏已贡献 Qwen3-1.7B 思维enabled 评测下大部分提升；参考的额外收益在 Qwen 上温和（完整解答最优），在 SmolLM3-3B 第 50 步仅增加约 2 个百分点
- 关键条件：收益依赖学生处于训练状态；同一 checkpoint 换成长思维 rollout 反而把收益变成损失；token 级监督的大幅改变可能几乎不改变学生行为
- 结论：OPSD 的价值在于通过共享参数打通直答与思维推理两种模式的跨模态迁移，特权参考的意义只在其对这种迁移的增益，而非解答本身泄露多少
「研究」频道最新
- 机器学习告别炼金术时代：研究将走向可证伪的证据科学 — mike64_t · 2026-09-18
- Together AI 提出分数中心化,修正 RL 训练-推理失配漂移 — PandaAshwinee · 2026-09-18
- Cell 推出 AI 生物学特刊,封面是抗衰老基准 LongevityBench — JosephJacks_ · 2026-09-18
- OpenAI 攻克 Navier-Stokes 后：人类数学家时代正在终结 — yeastsplainer · 2026-09-18
- 团队自研 BB-SLAM：纯视觉里程计 6 个月做出 2 厘米精度地图 — broodsugar · 2026-09-18
- AI4Science 现超预期突破，计算化学工作将大幅提速 — BenBlaiszik · 2026-09-18