D³-MOPD:通过动态域调度提升多教师蒸馏效率

Zechen Sun · hf · 2026-08-27

D³-MOPD 通过监控每个域的反向 KL 轨迹,在多教师蒸馏过程中动态调整域采样比率。该方法提高了收敛效率,并显著缩小了学生模型与教师模型之间的性能差距。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →