清华提出 One-Shot OPD，16 条查询追平全量蒸馏效果

清华团队在《Rethinking OPD》系列第二篇论文中提出 One-Shot OPD 方法，研究 on-policy distillation 为何在极少量样本上仍能持续稳定提升。实验显示，仅用一条查询即可让学生模型在数百步训练中持续进步，16 条 query 就能追平全量数据 OPD 蒸馏的大部分效果，揭示了 OPD 机制的样本效率远超预期。

2026-09-04 ~ 2026-09-04 · 2 条相关

• 单条查询训数百步仍持续提升，One-Shot OPD 复现全数据蒸馏大部分收益 — ParshinShojaee · 2026-09-04
• 清华团队：16条query即可追平全量数据OPD蒸馏效果 — 青稞AI · 2026-09-04