JD 提出 ROAD MOPD：双教师一致性门控抑制梯度冲突
teortaxesTex · x · 2026-10-22
作者分享来自 JD 的对 MOPD 的改进方案 Cross-Teacher Guarding（ROAD MOPD），用于抑制主要源于教师间（多为表面性）分歧导致的梯度冲突。机制是：由主教师和辅助教师共同评估学生响应，两者预测相对于一个冻结参考模型进行比较——当两位教师一致时加强该 token 的监督权重，不一致时则降低，从而过滤掉教师分歧带来的噪声信号。
所属事件:京东发布 ROAD MOPD：跨教师守卫缓解多教师蒸馏梯度冲突(2 条相关)→
「研究」频道最新
- ICLR 审稿人吐槽：3 篇分配论文中 2 篇是「AI 垃圾」 — AkariAsai · 2026-10-22
- 无训练实现实时热力图推理：Viveki 20B 延迟低于 150ms — not-ekalabya · 2026-10-22
- 京东提出 ROAD MOPD：用跨教师守卫解决多教师蒸馏的梯度冲突 — teortaxesTex · 2026-10-22
- Calif 以漫画发布两个 PHP 远程漏洞详情，WSJ 与 NYT 均报道 — thomasahle · 2026-10-22
- 微软 ScholarsEvolve:让 Agent 读论文自我进化,AppWorld 完成率 69%→81.4% — bendee983 · 2026-10-22
- IBM LASAGNA 研究：RAG 各技术单独有效，组合后增益大幅缩水 — ibm · 2026-10-22