BYU 与 UNC 提出 CriticOPD，修复在线蒸馏监督缺陷

BYU 与 UNC 教堂山分校研究人员发现，在线策略蒸馏(OPD)假设教师能从学生写出的任意前缀续写正确答案，但学生犯错后教师顺着错误续写时常跟着一起错，即使其从零开始能解出该题，导致监督信号不可靠。为此他们提出 CriticOPD,通过批判引导纠错的方式修复这一「可恢复性」缺陷，实验显示在线蒸馏准确率可提升 4.57 个百分点。

2026-10-15 ~ 2026-10-17 · 2 条相关