CriticOPD 论文：教师模型批评纠错，在线蒸馏准确率提升 4.57 点
tw_killian · x · 2026-10-17
- 核心发现：在线策略蒸馏（OPD）中，学生模型犯错后，教师模型顺着错误续写时往往会跟着一起错，即便它从零开始能解出该题——监督信号因此不可靠。
- 方法：CriticOPD 让教师模型基于参考答案对学生的错误 rollout 进行批评（critique），学生据此重写后续解法；教师带着反馈对重写的后缀打分，学生学习该后缀但不接触反馈。
- 结果：在六个数学推理基准上，Qwen3-1.7B 平均准确率较 OPD 提升 4.57 个百分点，Qwen3-0.6B 提升 4.06 个百分点，竞赛题上收益最大。
- 项目页、代码与论文已在 GitHub/Hugging Face 开放。
所属事件:BYU 与 UNC 提出 CriticOPD，修复在线蒸馏监督缺陷(2 条相关)→
「模型」频道最新
- 斯坦福教授评价：Gemini 3 Pro 是高峰，Astra 写作能力欠佳 — anshulkundaje · 2026-10-17
- 斯坦福教授吐槽:前沿模型写作能力一代不如一代 — arjunrajlab · 2026-10-17
- Perplexity 下线 GLM 5.3 模型，用户实测两分钟前还能用 — ChrisUniverse · 2026-10-17
- NVIDIA 推出 Fastino 训练 API:按 token 计费做后训练 — NVIDIAAI · 2026-10-17
- F5 用 Nemotron 后训练企业模型:精度持平前沿模型,成本低 40 倍 — NVIDIAAI · 2026-10-17
- 后训练 Nemotron 写 CUDA 内核:KernelBench L2 从 22.8% 提至 82.1% — NVIDIAAI · 2026-10-17