研究发现策略蒸馏主要传递推理行为而非答案
teortaxesTex · x · 2026-08-30
该论文深入研究了 On-Policy Distillation (OPD) 的实际传递机制。主要发现包括：
- 训练难度影响微弱：即使教师模型从未解决过的问题，也能为学生模型提供有用的监督。这表明 OPD 主要传递的是教师的“推理行为”而非特定问题的答案。
- 模型来源至关重要：同源（Same-origin）的师生对在跨语言、跨推理步长甚至跨领域的泛化能力上表现优异；而跨源的强教师模型往往传递效果较差。
- 多教师混合的副作用：在多教师 OPD 中，试图将 Prompt 路由给领域专家并不能隔离其影响。改变教师的混合比例会导致学生模型的能力在不同教师间“跷跷板”式摆动，而非简单的技能叠加。
所属事件:研究称策略蒸馏传递推理行为 同源弱师胜异源强师(3 条相关)→
「研究」频道最新
- WorldBox 沙盒让 GPT-6 Astra 的 MazeBench 得分从 23 翻倍到 61 — ZhitingHu · 2026-10-16
- 曾耗时数月的神经元研究，如今被 Agent 全自动完成 — morqon · 2026-10-16
- 滑铁卢研究：11 个 AI 模型建议你「别改变」的概率高 7.5 倍 — alex_verem · 2026-10-16
- 滑铁卢 5.5 万条 prompt 实测：AI 建议「别改变」的概率高 7.5 倍 — alex_verem · 2026-10-16
- 密歇根大学 Kozik 实验室用 SeqHub 攻克呼吸道微生物组注释难题 — anshulkundaje · 2026-10-16
- 13 岁被开除的天才生物学家 Patrick Hsu:用 AI 设计新生命形态 — thesephist · 2026-10-16