上海AI Lab等重新审视在线蒸馏:强教师未必是好监督源
KnowledgeXLab · hf · 2026-10-12
浙江大学、上海 AI Lab 等系统研究在线蒸馏(OPD)中「相对策略差异」的迁移条件,给出统一视角:代理专家与代理参考之间的 log-probability 比定义了 KL 正则策略优化的隐式奖励,可恢复传统 OPD 并支持任意模型间的跨规模/跨代迁移。
三个发现:
- 更强的专家未必是更好的监督源:来自任务特定训练(RL、SFT)的差异迁移一致有效,仅由模型规模带来的差异迁移弱甚至无效
- 专家与参考角色互补:专家提供要迁移的能力,参考过滤共享行为、隔离有效残差
- 有用的差异也并非对所有目标都有效:成功要求诱导更新使目标朝专家方向移动并能泛化;原始策略距离不能预测可迁移性,合适的参考模型可挽救原本失败的迁移
「研究」频道最新
- DiffusionART 训练视频模型省 12 倍 GPU 时,奖励还高出 53% — KlingTeam · 2026-10-12
- Reflex 人形机器人用第一视角接住抛来的箱子,实机最高 65% 成功率 — UW · 2026-10-12
- KAIST 与 LG 提出 SynthSelf,让小模型持续学习不再遗忘旧能力 — LG-AI-Research · 2026-10-12
- Meta 团队提出 ReHarness,反向修订经验让智能体在线持续学习 — Yuxin Xiao · 2026-10-12
- 高维堆积沙盒:蒙特卡洛软球硬化成方块,逼近五维堆积纪录 — idanbeck · 2026-10-12
- willcb:除 RL 外的算法都是在用代理目标回避直接优化 — willcb · 2026-10-12