蚂蚁等新研究:仅监督 1% token 可匹敌全量在线蒸馏
jiank_uiuc · x · 2026-09-22
蚂蚁集团与 MBZUAI 等机构的新论文《1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation》研究稀疏在线蒸馏（OPD）中的关键问题：教师信号只分配给学生轨迹中一小部分 token 时，何时该给哪些 token 监督。
核心问题与方法
- 在固定前缀下，教师指导基于单个采样 next-token 计算梯度，容易产生噪声更新。
- 作者从信息几何角度分析该估计问题，提出基于信噪分解的「信息效率比」（IER）指标，刻画在最优标量 baseline 下相对梯度估计误差。
- 通过候选集近似，可按 IER（及其与现有 usefulness 分数的组合）选择 token，同时保留采样的 reverse-KL 训练目标。
实验结论
- 在数学与医学推理任务上，加入 IER 能改进多种现有选择器。
- 仅 0.1%–1% 的 token 监督预算即可匹配甚至超过不选 token 的全量 OPD。
代码已开源：github.com/BruceSheng1202/IER-OPD。
所属事件:新论文：仅监督 1% token 的稀疏在策略蒸馏可匹敌全量(7 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12