On-policy 蒸馏再思考：单个样本即可持续提升，缺的是算法而非数据
Thinking-Space · hf · 2026-09-04
Thinking-Space 团队的「Rethinking On-Policy Distillation II」研究给出反直觉发现。
- 核心结论：仅用一个训练样本（单条 query），on-policy 蒸馏就能在数百步训练中持续改进学生模型
- 机制：学生快速覆盖教师模型的状态空间，因此数据并非瓶颈
- 但学生与教师的对齐速度仍然缓慢——作者据此判断该方法是「算法饥饿」而非「数据饥饿」，改进空间在算法设计而非堆数据
- 对蒸馏训练的资源配置（数据成本 vs 算法创新）有直接指导意义
所属事件:研究称单条样本即可复现72%蒸馏收益，OPD缺的是算法(2 条相关)→
「研究」频道最新
- 经典意义的世界模型 (s, a → s′)：充当神经版 MuJoCo 模拟器 — yshan2u · 2026-10-23
- Gen-HumanWholeBody 全身操作数据集开源:600 小时、1281 种人类技能 — AdinaYakup · 2026-10-23
- 单细胞动力学模型 DynaVelo 发表于 Nature Biotechnology — anshulkundaje · 2026-10-23
- 120 例对比测试：Hy-Memory 召回 100% 却全军覆没空例 — stevyhacker · 2026-10-23
- UCSD SplatLab:一条 prompt 自动复现并撰写 3DGS 研究 — UCSanDiego · 2026-10-23
- RTAformer 提出「关系语义惯性」解法,攻克视频场景图生成难点 — Jaeyeon Heo · 2026-10-23