清华团队：16条query即可追平全量数据OPD蒸馏效果
青稞AI · wechat · 2026-09-04
青稞社区分享清华团队 OneShotOPD 论文（RethinkingOPD 系列第二篇），探讨为何 on-policy distillation（OPD）在极少量样本上也能持续稳定提升：
- 数据角度：OPD 训练的不是题目本身，而是 student 在 on-policy rollout 中访问到的 state。一条 query 配每步 N 条 rollout 即可产生大量带 teacher 监督的 states。作者定义 state coverage：1 条 query 覆盖 full-data OPD state 空间的 71.5%，16 条语义多样的 query 达 98.9%，追平全量数据。
- 算法角度：真正限制效率的是 absorption rate——每步更新消除 teacher-student gap 的比例持续下降，且该下降速度在 1/4/16 条乃至全部 17k 条 query 上几乎一样，即 OPD「数据撑死但算法饿死」。
- 极端实验：MOPD 上每领域 16 条 query 即可匹配全量；空模板（只保留 <think>）和仅有 0.17% 数学相关内容的 WildChat 数据也能接近数学 real-data 基线，且 rollout tokens 只用三分之一到一半。
结论：输入数据的作用更像一个 state generator，只需把 student 的 reasoning 启动到有 teacher 监督价值的状态区域。论文与代码已开源。
所属事件:清华提出 One-Shot OPD，16 条查询追平全量蒸馏效果(2 条相关)→
「研究」频道最新
- 初创公司宣称首次用 AI 设计病毒治疗耐药菌感染患者 — nordicinst · 2026-10-21
- 开源婴儿脑连接工具包:vibe coding 串起皮层-电极-纤维追踪分析 — Dr_Alex_Crimi · 2026-10-21
- 伯克利获 Schmidt Sciences 资助：用 AI 破解抹香鲸与虎鲸语言 — begusgasper · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- UIUC 论文：高分不等于会推理，LLM 换个表述就丢失推理规则 — UIUC-CS · 2026-10-21
- 马斯特里赫特研究标注 2122 段真实对话：用户如何向 LLM 求助法律问题 — Amirreza Mohseni · 2026-10-21