单条查询训数百步仍持续提升，One-Shot OPD 复现全数据蒸馏大部分收益
ParshinShojaee · x · 2026-09-04
团队在发布 Rethinking OPD 后继续深入研究 On-Policy Distillation 的机制，提出 One-Shot OPD：只用一条查询就能让学生模型在数百步训练中持续改进，并恢复全数据 OPD 的大部分收益。
他们的解释是 OPD 处于「数据过饱、算法饥饿」状态：
- 数据层面：一条查询已经覆盖了全数据训练中大部分的状态空间；
- 算法层面：学生模型每一步吸收剩余误差的能力递减，边际收益逐步缩小。
所属事件:清华提出 One-Shot OPD，16 条查询追平全量蒸馏效果(2 条相关)→
「研究」频道最新
- 球面不动点推理器 SFPRM：让循环 Transformer 学会自己停 — GabGarrett · 2026-10-21
- KAIST 与 Meta 提出可编程检索框架 RPL，4B 模型胜过全部 8B 基线 — CShorten30 · 2026-10-21
- Perplexity 发布 Decider V1.2：登顶 Vals AI 决策模型榜 ClaimBench — bo_wangbo · 2026-10-21
- 给基因模型「泄题词」全删后成绩几乎不变,LitGene 过严格盲测 — bravo_abad · 2026-10-21
- Omnii-1 基因组模型发布：AI 设计的噬菌体首次用于人体治疗 — JosephJacks_ · 2026-10-21
- 从记忆存储理解 LLM：事实习得三阶段与幻觉同步涌现 — scott_linderman · 2026-10-21