新论文:只监督 0.1%-1% 的 token 就能匹敌全量策略蒸馏
jiank_uiuc · x · 2026-09-23
论文《1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation》研究在线策略蒸馏(OPD)中的梯度估计。核心发现:教师指导虽有用,但产生的更新噪声大;作者提出信息效率比(Information-Efficiency Ratio, IER)来衡量梯度估计的可靠性,并结合有用性评分筛选,在仅 0.1%-1% 的 token 预算下即可匹配甚至超过全量 OPD。论文与代码均已开源。
所属事件:新论文：仅监督 1% token 的稀疏在策略蒸馏可匹敌全量(7 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12