亚马逊与杜克：数千 token 梯度只留 1 个,推理能力反而更强
jiqizhixin · x · 2026-10-11
Amazon 与杜克大学论文《Extremely Sparse Supervision Incentivizes Reasoning Ability》给出反直觉发现：在每个 rollout 数千 token 的数学推理训练中，随机只保留 1 个 token 的梯度信号、屏蔽其余全部信号——按常理训练应当崩溃，实际却表现更好。
- 背景：On-Policy Distillation (OPD) 中教师模型对每个 token 给反馈，这种稠密 token 级监督一直被认为必不可少，也让 OPD 内部机制难以理解。
- 实验设计：把稠密监督推到极端稀疏的极限，检验 token 级梯度信号到底多重要。
- 结论：极稀疏监督不仅没有摧毁训练，反而提升了推理能力，挑战了「稠密监督是 OPD 成功关键」的共识，对 post-training 与蒸馏机制理解有直接意义。
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23