京东发布 ROAD MOPD：跨教师守卫缓解多教师蒸馏梯度冲突

京东联合南京大学发表论文，提出面向多教师在线蒸馏的 ROAD MOPD 方法。该方法引入跨教师守卫与双教师一致性门控机制，抑制主要由教师间（多为表面性）分歧导致的梯度冲突，从而改进 MOPD 的训练效果，解决多教师蒸馏中的关键难题。

2026-10-22 ~ 2026-10-22 · 2 条相关