多教师在线蒸馏新进展：单一学生模型可超越每位教师

多教师在线蒸馏（MOPD）成为研究热点：博主 Cameron Wolfe 详解该方法如何把多个领域专精教师模型的能力合并进一个学生模型。另一项工作 Latent-MOPD 进一步提出首个表示层蒸馏方法，除 token 预测外还利用教师模型的隐状态进行蒸馏，实验显示单一学生模型可超越每位教师。

2026-10-06 ~ 2026-10-07 · 2 条相关

• Latent-MOPD:表征级多教师在线蒸馏,单一学生超越每位教师 — zillow · 2026-10-06
• 详解 MOPD：多教师在线蒸馏把多个专精模型合并进一个学生模型 — cwolferesearch · 2026-10-07