京东提出 ROAD MOPD：用跨教师守卫解决多教师蒸馏的梯度冲突
teortaxesTex · x · 2026-10-22
京东与南京大学的论文《Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation》提出 ROAD MOPD，改进多教师在线蒸馏（MOPD）。
问题：MOPD 按领域把数据路由给专门教师，但所有更新仍作用于共享参数；当各教师在风格与专长上差异大时，会产生持续的梯度冲突和特定领域能力退化。
方法：在学生同一轨迹上引入非路由的辅助教师作为跨领域批评者，包含两个机制：
- 跨教师引导的 credit 分配：以冻结参考模型为基线比较主教师与辅助教师的 token 级偏好，两位教师都认可时加强监督，冲突时衰减；
- 预防性多教师梯度投影：用同一轨迹的辅助梯度约束可能冲突的更新，自适应控制投影强度以保留目标域学习信号。
结果：高冲突场景下劣势领域提升超过 5 个百分点，低冲突与三领域设置下整体性能也提升。
发帖人 teortaxesTex 认为思路有用但受制于参考模型：若参考模型概率低于两位教师会被判为"一致"，介于两者之间则不算，用 KL 类方法可能更好。
「研究」频道最新
- ICLR 审稿人吐槽：3 篇分配论文中 2 篇是「AI 垃圾」 — AkariAsai · 2026-10-22
- 无训练实现实时热力图推理：Viveki 20B 延迟低于 150ms — not-ekalabya · 2026-10-22
- IBM LASAGNA 研究：RAG 各技术单独有效，组合后增益大幅缩水 — ibm · 2026-10-22
- 开发者吐槽:机械可解释性快成 AI 圈的占星术了 — dejavucoder · 2026-10-22
- eLife 地标级论文:用 RNN 揭示前额叶皮层规划行为的机制理论 — ShahabBakht · 2026-10-22
- 数学家 Kontorovich 喊话:所有代码都该立刻 Lean 形式化 — ludwigABAP · 2026-10-22