LastOPD 发现潜层对齐蒸馏先涨后崩,只用末层信号提分 5.5
Jie Yang · hf · 2026-09-29
作者团队在把 Qwen3-4B/8B 蒸馏到 Qwen3-1.7B-Base 时,发现基于潜层状态对齐的 on-policy 蒸馏(OPRD 类方法)存在两个反直觉的失败模式:
- 先涨后崩:仅用潜层监督,MATH-500 从 25 提到 46,但继续训练 10 步后掉到 11 且无法恢复;
- 对齐越好,表现越差:整个崩溃过程中对齐指标持续上升,表现最差的恰恰是对齐度最高的模型。
分析认为,按深度配对的层在师生两个模型中扮演的角色不同,持续对齐会把学生拉向它无法理解的教师状态。
LastOPD 的做法:只在最后一层状态(两个 LM head 共同读取的公共接口)施加潜层信号,并仅在 10 步的 crossfade 过渡期内使用,随后完全交给 token 级 on-policy 蒸馏,从而在崩溃发生前保留有用信号。
效果:相比纯 token 级 OPD,MATH-500 分别提升 5.55(4B 教师)和 4.02(8B 教师)分,多数 held-out 数据集领先,且用约一半步数即达到纯 token 级 OPD 的最终成绩。代码已开源。
「模型」频道最新
- 韩国小团队 Nemotron Labs 冲进开放模型前五 — NVIDIAAI · 2026-09-29
- 爆料称 OpenAI 因 Kimi K2 发布以安全为由推迟 GPT OSS 开源 — johnohallman · 2026-09-29
- 用 LLM 给论文摘要做人类主题分类,校准度意外可用 — RexDouglass · 2026-09-29
- 开发者曝 Opus 5.5 疑似硬编码「人类永远对」，堪称最隐蔽谄媚 — repligate · 2026-09-29
- OpenAI 宣布因安全顾虑不发布最新模型 Astra — jbegley · 2026-09-29
- 传 Meta 按全价 API 采购 Fable 轨迹数据用于蒸馏,社区质疑其含 Claude 风格 — andersonbcdefg · 2026-09-29