蚂蚁等新研究:仅监督 1% token 可匹敌全量在线蒸馏
jiank_uiuc · x · 2026-09-22
蚂蚁集团与 MBZUAI 等机构的新论文《1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation》研究稀疏在线蒸馏（OPD）中的关键问题：教师信号只分配给学生轨迹中一小部分 token 时，何时该给哪些 token 监督。
核心问题与方法
- 在固定前缀下，教师指导基于单个采样 next-token 计算梯度，容易产生噪声更新。
- 作者从信息几何角度分析该估计问题，提出基于信噪分解的「信息效率比」（IER）指标，刻画在最优标量 baseline 下相对梯度估计误差。
- 通过候选集近似，可按 IER（及其与现有 usefulness 分数的组合）选择 token，同时保留采样的 reverse-KL 训练目标。
实验结论
- 在数学与医学推理任务上，加入 IER 能改进多种现有选择器。
- 仅 0.1%–1% 的 token 监督预算即可匹配甚至超过不选 token 的全量 OPD。
代码已开源：github.com/BruceSheng1202/IER-OPD。
「研究」频道最新
- PIR 方法为模型做测谎：识别未言明的隐藏知识达 0.87 准确率 — Hiskias Dingeto · 2026-09-22
- 不足 10 万参数的视觉系统 TAPe+ML 在 COCO 检测达 84.7 mAP50 — Comexp · 2026-09-22
- AllThingsApx 长文：让每次实验都让下一次更聪明的自学习实验室 — AllThingsApx · 2026-09-22
- MIT 科技评论 35 岁以下创新者榜单：AI agents 创业者 Hafner 入选 — thegautamkamath · 2026-09-22
- Yarin Gal：博士的意义在于独立做研究，巨型项目人海战术不如去工业界 — yaringal · 2026-09-22
- AI 检测工具原理拆解:模型能捕捉莎士比亚都未察觉的写作特征 — Afinetheorem · 2026-09-22