CriticOPD 发现教师会跟着学生错误走,用批判引导修复在线蒸馏监督
Kaixiang Zhao · hf · 2026-10-15
BYU 与 UNC 教堂山分校提出 CriticOPD,修复在线蒸馏(OPD)中被忽视的「可恢复性」缺陷。
- 发现:OPD 假设教师能从学生写出的任意前缀续写出正确答案,作者称之为教师的可恢复性;实验表明该性质在错误 rollout 上失效——教师能识别学生的错误,却会顺着错误继续。
- 方法:让教师对错误 rollout 给出批判,学生据此重写解法;打分时将批判作为特权信息提供给教师,学生训练时只使用不含批判的修订版本。
- 结果:在两个 Qwen3 学生模型和六个数学推理基准上,CriticOPD 均优于 OPD,竞赛类题目提升最大。
「研究」频道最新
- 研究者纠错:模型行为差异源自数据与 RL,而非梯度下降 — PMinervini · 2026-10-15
- SFT+全 logit KL+隐状态 MSE,还算不算「蒸馏」引争议 — cephaloform · 2026-10-15
- Quanta 长文追问:注意力机制是智能的本质吗? — mikeflache · 2026-10-15
- Fisher 信息新论文解释:为何 LLM 后训练参数更新如此稀疏 — cephaloform · 2026-10-15
- PersonalAgentEval 发布:7 款个人 Agent 实测仅两家领先 — HennyJieCC · 2026-10-15
- HapticWorld:可「触感」的世界模拟器,实时渲染力矩反馈 — Scobleizer · 2026-10-15