OPD在线蒸馏：从弱教师到强学生

heghbalz · x · 2026-07-07

研究者 rosinality 介绍「在线策略蒸馏」（OPD，on-policy distillation）方法：通过蒸馏教师在采样前后的 log-ratio，将弱教师的知识迁移给强学生，把策略梯度中的比率思想引入蒸馏，为提升学生模型提供了新途径。