新论文：仅监督 1% 甚至 0.1% 的 token，稀疏蒸馏可匹敌全量 OPD
jiank_uiuc · x · 2026-09-23
arXiv 论文《1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation》研究稀疏在策略蒸馏（OPD）中的梯度估计问题。
核心思路
- 稀疏 OPD 只对学生生成轨迹中的少量 token 施加教师监督，但即便教师指导有用，用单个采样 token 估计梯度也可能引入噪声。
- 作者在信息几何框架下做信噪分解，提出信息效率比（IER）指标：IER 越高，相对梯度估计误差越低；可用小候选集近似并用于 token 排序。
主要结果
- IER 可与现有 usefulness 选择器组合（IER-OR / IER-AND），保持采样 reverse-KL 训练目标不变。
- 数学推理任务上，0.1% token 预算即可超越全量 OPD：JustRL-Qwen3-4B → Qwen3-1.7B（thinking off，Bayes@32），AIME25 从 14.4 提到 19.4，AIME26 12.5→16.3，HMMT25 8.7→11.7，HMMT26 13.4→14.4。
- HealthBench 上每条轨迹约 1 个 token 的监督即可匹配全量 OPD。
- thinking-on 与 thinking-off 两种模式均有效；且增加 token 预算并非总是提升，甚至可能降低性能，选对 token 比堆量更重要。
论文与代码已开源。
所属事件:新论文：仅监督 1% token 的稀疏在策略蒸馏可匹敌全量(7 条相关)→
「模型」频道最新
- Artificial Analysis 榜单权重被批随意，随时间大幅变动 — HamelHusain · 2026-11-12
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12
- 实测三模型纯裸跑编码：Gemini 4 Carbon 代码质量惊艳性价比最高 — Semantic_meaning · 2026-11-12