在线策略蒸馏的教师易因 RL 后训练模式坍缩

bronzeagepapi · x · 2026-07-08

ML 研究者 vikhyatk 指出,OPD(on-policy distillation,在线策略蒸馏)的一大弱点是教师模型通常因 RL 后训练而 mode-collapsed(模式坍缩),多样性与质量下降,如何解决该问题成为关键挑战。