On-policy蒸馏只教技能不教知识:reverse-KL无法注入新事实
Yixuan Tang · hf · 2026-10-09
一项 controlled 实验研究 on-policy distillation(OPD)到底教给模型什么:是新的参数化知识,还是组合已有知识做多步推理的技能。
实验设计
- 用可控合成框架分离两种能力,独立控制教师额外的知识、组合技能或两者;跨 3 个模型家族的 4 个模型验证。
核心发现
- reverse-KL OPD 能可靠地在未见推理结构上迁移组合技能,但几乎不迁移事实知识。
- 拆解配方发现:换成 forward KL 可恢复事实迁移,而学生 rollout 专门提升多步推理的执行。
- 在事实 QA 与竞赛数学上呈现同样的不对称:reverse-KL OPD 带来显著推理提升但无事实记忆扩展。
结论:on-policy distillation 不扩展模型的参数化知识,而是教它组织和组合已有的知识。
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23