UIUC 新研究:仅监督 0.1% token 蒸馏即可超越全量 OPD
jiank_uiuc · x · 2026-09-23
作者团队(jiankuiuc 等)发布论文《1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation》,提出信息效率比 IER(Information-Efficiency Ratio)来衡量在线蒸馏中梯度估计的可靠性。
核心洞察:蒸馏梯度期望是对所有可能的下一 token 平均,但实践中只用一个采样 token 估计,导致即使教师指导有用、更新仍然充满噪声。IER 从信息几何的信号-噪声分解出发定义,值越高代表相对梯度估计误差越低,可用小候选集近似并据此排序 token。
关键结果:
- 用 JustRL-Qwen3-4B 蒸馏 Qwen3-1.7B(thinking off),仅 0.1% 监督 token 即超越全量 OPD:AIME25 14.4→19.4,AIME26 12.5→16.3,HMMT25 8.7→11.7,HMMT26 13.4→14.4
- HealthBench 上约每条轨迹 1 个 token 即可匹配全量 OPD 性能
- IER 与 thinking-on/off 模式兼容,小 token 预算下收益尤其明显
- 预算扫描显示更多监督 token 未必更好,有时甚至降低性能
方法上还提出 IER-OR/IER-AND 两种方式与现有 usefulness 选择器结合,训练目标(采样 reverse-KL)保持不变。
所属事件:新论文：仅监督 1% token 的稀疏在策略蒸馏可匹敌全量(7 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12