DeepMind 论文:softmax 与交叉熵存在数值 bug,修复后可消除损失尖峰
JFPuget · x · 2026-10-24
- DeepMind 的 Jonathan Barron、Dan Gnanapragasam 与 Michael Tschannen 发布论文《A Fix for Softmax and Cross-Entropy》,指出深度学习中最基础的 softmax、log-softmax 与交叉熵的标准实现存在两个数值 bug:Softmax Collapse(目标 logit 远大于其他 logit 时,其梯度被舍入为零,导致梯度之和不再为零)和 Softmax Cancellation(蒸馏中学生与教师 logit 相近时,本应为零的梯度却保持非零)。这些误差会造成突发的损失尖峰,并干扰知识蒸馏。
- 修复方法很直接:直接计算那个微小的残差量,而不是用两个几乎相等的舍入数相减推导,无需更高的数值精度。
- 在小规模 grokking 基准上,修复消除了 "Slingshot" 损失尖峰,某一设置的测试准确率从 94.3% 提升到 100%;还能防止蒸馏中学生模型漂离教师。论文还表明,记忆化完成后 logit 增长受权重衰减与 Adam 的 ϵ 超参数之间的平衡约束。
- 注意:结果来自玩具级基准,尚未在大规模训练中验证。有评论者已在追问 PyTorch 何时会实现这一修复。
所属事件:Barron 揭 softmax 与交叉熵实现两大数值 bug(21 条相关)→
「研究」频道最新
- IEEE IT 刊文：希尔伯特空间高斯测度间的几何 Jensen-Shannon 散度 — FrnkNlsn · 2026-10-28
- CPR 数据集:现有检索器跨领域联想最佳 Recall@10 仅 0.26 — coallaoh · 2026-10-28
- HuggingFace 机器鸭雪地行走：29 万片雪花物理仿真有多较真 — lukas_m_ziegler · 2026-10-28
- Mercor 联合斯坦福、NBER 发布开源任务目录 TaskNet,补齐 O*NET 盲区 — soumitrashukla9 · 2026-10-28
- François Fleuret 提出对齐三步法：预训练加 RL、给 token 标「想/说」 — francoisfleuret · 2026-10-28
- 基准也有保质期：Reddit 整理评测发布时间线防 benchmaxxing — Express_Quail_1493 · 2026-10-28