论文：单条查询即复现 72% 全数据蒸馏收益，OPD 是数据过剩而非缺数据
heghbalz · x · 2026-09-06
论文《Rethinking On-Policy Distillation of Large Language Models II: One Training Example》考察 on-policy 蒸馏（OPD）中训练数据的真实作用：
- 只训一条 query 也能持续提升：one-shot OPD 训练数百步后，能恢复全数据 OPD 在各任务域和模型家族上的大部分增益。
- 状态覆盖是关键：单条 query 的 rollout 已覆盖全数据 OPD 所访问状态的 71.5%，且大部分在前 100 步内完成；16 条语义不同 query 达到 98.9% 覆盖并追平全数据训练。
- 瓶颈在算法不在数据：学生吸收教师 token 级密集监督的速度很慢，无论 1 条还是全部数据，对齐速度相似。结论：OPD「数据过剩、算法饥饿」。
- 该状态覆盖结论也适用于多教师 OPD，内容空洞模板和域外 query 也接近真实 query 基线。
作者含 Zhiyuan Liu、Ning Ding 等，对蒸馏数据成本有直接指导意义。
所属事件:研究称单条样本即可复现72%蒸馏收益，OPD缺的是算法(2 条相关)→
「研究」频道最新
- PyTorch 实测:批量从 1 加到 64,吞吐升 50 倍延迟仅增 24% — cneuralnetwork · 2026-10-23
- 计算设计的全新连接酶 30 个里 27 个实验有效,AI 酶设计落地 — AllThingsApx · 2026-10-23
- 网友拆解决策模型榜单：AUC 相同下先验校准即可推高准确率排名 — antoine_chaffin · 2026-10-23
- JEPA 会保留无法预测的红绿灯特征吗？新论文给出集合级解释 — hisspikeness · 2026-10-23
- Next-Concept Modeling 论文称分层概念码并行生成，速度最高达扩散 LLM 的 31 倍 — PanelReader · 2026-10-23
- 从「压抑情绪」句子提取的 steering 向量,竟让模型独处时表达痛苦 — Big_Effective_9605 · 2026-10-23