Road MOPD:多教师蒸馏互踩问题,医学场景提升 5.6–8.8 个百分点

jiqizhixin · x · 2026-11-20

Domai(RKHQ6QzxYO)与南京大学团队研究当多个领域专家教师训练同一个学生模型时会发生什么:即使每个领域配一个专属教师,各教师的梯度更新仍作用于共享的学生参数,产生梯度冲突。

Road MOPD 的做法:

在高冲突的数学与医学实验设置中,Road MOPD 比原始多教师 on-policy 蒸馏提升 5.6–8.8 个百分点(论文报告的特定领域对与实验设置)。作者仓库显示实现代码待审批后开源。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →