南大与京东提出 Road MOPD,多教师蒸馏梯度冲突下提升 5 个百分点
jingdong1 · hf · 2026-10-15
南京大学与京东提出 Road MOPD(Cross-Teacher Guarding),解决多教师在线蒸馏(MOPD)中的梯度冲突问题。
- 问题:MOPD 按领域把数据路由给专门教师,但所有领域的更新仍作用于共享参数;当教师在风格与专长上差异大时,各自有效的监督会在联合优化中产生持续梯度冲突、导致能力退化。
- 方法:引入未路由教师作为同一学生轨迹上的跨领域辅助批评者,通过教师一致性做 token 级信用分配(强化共识修正、衰减冲突信号),并用预防性多教师梯度投影约束冲突更新、自适应控制投影强度。
- 结果:缓解弱势领域能力退化,高冲突场景提升超 5 个百分点,低冲突与三领域设置下整体性能均改善。
「研究」频道最新
- 浙大阿里 PixText 修复生成图文字:字形通过率 83% 远超基线 — ATH-MaaS · 2026-10-15
- TextVerifier 抓 AI 生成汉字错笔画:F1 0.844 远超 OCR 与 VLM — ATH-MaaS · 2026-10-15
- 阿里 HICO-Bench:36% 高评分对话经不起可行性验证 — Tongyi-ConvAI · 2026-10-15
- 字节 Diff Diffusion 用扩散模型预测代码编辑:推理快 2.78 倍 — Xiaolong Xu · 2026-10-15
- MimicX 用策略执行反馈修正人形训练:跟踪误差降 25.7% — Shuaijun Liu · 2026-10-15
- MagicBeanStalk 论文：88% RLVR 数据陷入零优势陷阱，递归合成提分 8.6 — Lianhuiq · 2026-10-15