MBZUAI×蚂蚁论文:1% token 的稀疏蒸馏即可匹敌全量 OPD
jiank_uiuc · x · 2026-09-23
MBZUAI 与蚂蚁集团合作论文(arXiv:2609.24432)研究在线策略蒸馏(OPD)中的梯度估计问题:
- 问题:稀疏 OPD 只在学生生成轨迹的一小部分 token 上施加教师监督,但基于采样下一 token 估计的梯度噪声大,有用指导可能变成噪声更新。
- 方法:在信息几何框架下分析固定前缀处的估计问题,提出基于信噪分解的信息效率比(IER),可刻画最优标量基线下的相对梯度估计误差;通过候选集近似实现基于 IER 的 token 选择,并可与现有有用性分数组合,同时保留采样 reverse-KL 训练目标。
- 结果:在数学与医学推理任务上,加入 IER 在多种设置下改进现有选择器;0.1%1% 的 token 预算下,稀疏配置可匹敌甚至超过不做 token 选择的完整 OPD。thinking-on 与 thinking-off 两种模式均有效。
- 论文与代码均已公开。
所属事件:新论文：仅监督 1% token 的稀疏在策略蒸馏可匹敌全量(7 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12