上海科技大学提出 OPMD:蒸馏中间计算而非仅监督输出
ShanghaiTech · hf · 2026-10-19
上海科技大学团队提出 On-Policy Mechanism Distillation(OPMD),改进语言模型蒸馏:传统 on-policy 蒸馏只在输出空间监督学生模型,无法传递产生预测的中间计算;而简单的表征匹配也不够,因为师生表征几何差异大、对齐的隐状态未必可被学生下游计算利用。
OPMD 的做法是:先构造一个学生可兼容的转换器,把教师表征变换为学生下游计算可用的中间状态,再从 on-policy 轨迹中让学生内化这些状态。在全部三个教师-学生设置中取得蒸馏基线中最高的平均准确率,并可泛化到多教师蒸馏和跨家族监督微调。
「研究」频道最新
- 16MB 冻结词表替代嵌入层:Gemma 270M 级小模型 46MB 文件不掉点 — Sai Kiran Bathula · 2026-10-19
- 美团 LongCat 发布 RAP 数据集:25K 论文-海报对,海报生成变视觉编码任务 — meituan · 2026-10-19
- BELIEFWEAVER:用信念更新与世界建模让长程 Agent 学会从失败中恢复 — IntelligenceLab · 2026-10-19
- UBC 与 Vector Institute 提出免数据扩散蒸馏:一步生成 20GB 显存超越 DMD2 — vector-institute · 2026-10-19
- DeepMind 论文：用户附一句错误猜测，Agent 成功率从 67.4% 跌到 36% — i_dg23 · 2026-10-19
- Thinking Machines 揭 LLM 非确定性根源：并发与浮点致同 batch 输出互异 — AccBalanced · 2026-10-19