新研究:在线策略蒸馏只需监督 1% 的 token,0.1% 有时也够
jiank_uiuc · x · 2026-09-23
MBZUAI 与蚂蚁集团合作的新论文《1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation》研究稀疏在线策略蒸馏(OPD)中的梯度估计问题。
核心发现:
- 有用的教师指导仍可能产生噪声更新,因为梯度往往只从单个采样 token 估计
- 提出信息效率比(IER)指标,基于信噪比分解衡量梯度估计可靠性
- 将 IER 与现有 token 选择的有用性分数结合,在数学与医疗推理任务上,0.1%–1% 的 token 预算即可匹配甚至超过全量 OPD
- 在思考开/关两种模式下均有效,小预算时收益尤其明显
论文与代码均已开源。
所属事件:新论文：仅监督 1% token 的稀疏在策略蒸馏可匹敌全量(7 条相关)→
「模型」频道最新
- 11 个 LLM 剑桥辩论社对决 1168 场：Claude Fable 5.2 压倒性夺冠 — AymericRoucher · 2026-11-12
- 用户实测 Claude App：widget 模块看不到用户编辑、移动端也不显示 — petergyang · 2026-11-12
- OpenAI 将下线 Standard Voice，用户发帖纪念这个「没人测的基准」 — aesthetic_legume · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Ricursive 发布开源权重 Ripple-65B：TerminalBench 称霸美国开源榜 — StanfordAILab · 2026-11-12
- 被严重低估的资源：跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12