Nemotron 3 Ultra 技术报告:MOPD 多教师蒸馏中教师兼容性是关键
cwolferesearch · x · 2026-10-02
核心发现
作者从 NVIDIA Nemotron 技术报告中提炼了 Multi-Teacher On-Policy Distillation(MOPD)的关键细节:并非任意教师模型组合都能用于多教师在线蒸馏。
MOPD 工作原理
- 学生模型生成补全后,将 prompt + completion 路由给专家/教师模型
- 教师计算 token 级 log 概率
- 用反向 KL 目标(通常为采样近似)把教师能力蒸馏回学生策略
两种典型用法
- 整合(Consolidation):把多个领域专精模型的能力合并进一个学生,各领域训练可独立进行
- 恢复(Recovery):用训练早期 checkpoint 作为教师,修复多阶段训练中的能力回退
关键教训
Nemotron 3 Ultra 报告指出:训练管线差异过大的教师模型无法通过简单的 MOPD 合并生效。学生自己采样的轨迹对分布差异大的教师是 OOD,token 级监督随之失效——这对整合场景影响最大,恢复场景因师出同门天然规避。
解决方案
MOPD warmup:蒸馏前先用教师采样的多样化轨迹跑一个短 SFT 阶段,拉近学生与教师的行为分布。结论:MOPD 不是简单“把专家蒸给学生”,师生兼容性才是成败关键。
「研究」频道最新
- FutureSim Q3:LLM 从经验中真实变强,Opus 5.5 登顶 — rickasaurus · 2026-11-16
- NeurIPS 论文:10 张图蒸馏 ImageNet 一个类别的全部知识 — giannis_daras · 2026-11-16
- 为什么方差估计要除以 n-1:两分钟讲透贝塞尔校正 — JFPuget · 2026-11-16
- 商业场景中 Type 2 错误代价常高于 Type 1 — mdancho84 · 2026-11-16
- 风险管理视角:漏检真实风险可致重大损失乃至倒闭 — mdancho84 · 2026-11-16
- Type 2 错误定义:对真孕妇报阴性即漏检真实效应 — mdancho84 · 2026-11-16