DeepMind 修复 Softmax 与交叉熵：浮点舍入悄悄吃掉梯度
jiqizhixin · x · 2026-11-06
Google DeepMind 的 Jonathan T. Barron、Dan Gnanapragasam 与 Michael Tschannen 在预印本《A Fix for Softmax and Cross-Entropy》中解释了两类反直觉现象：已经正确的分类器为何丢失目标梯度，以及完全相同的师生模型在蒸馏中为何持续漂移。
- 瓶颈：浮点舍入可能把一个高置信度的目标概率舍入为恰好 1，导致其梯度提前归零；师生概率几乎相同时，相减会留下虚假的残余梯度。
- 修复方法：在 log 空间重排同样的数学函数，用 softplus、expm1、log1p 保留小量，不必内部切换到更高精度即可保留有效梯度；相同的蒸馏 logits 产生的梯度严格为零。
- 收益：论文在 fp32 的模 31 加法实验（AdamW、weight decay 1、epsilo…）中展示了改进效果。
「研究」频道最新
- Anthropic 报告：AI 全面自动化科研或带来 15-16 倍产出，物理实验成瓶颈 — teortaxesTex · 2026-11-06
- Elastic AI 副总裁：把搜索看作测试时计算，延迟是可花的预算 — gaganghotra_ · 2026-11-06
- 免训练投机解码框架加速全双工语音模型,显著降低响应延迟 — CUHKSZ · 2026-11-06
- 港中文 MMLab 提出 TailSteer,抑制多轮图像编辑累积漂移 — MMLab-CUHK · 2026-11-06
- 厦大等提出 EvoMemState:用状态演化框架改进 Agent 长期记忆 — Zhishang Xiang · 2026-11-06
- 牛津提出认知共生体范式:Physical AI 应增强人类智能 — Oxford · 2026-11-06