Google 论文揭秘 softmax 与交叉熵实现中的两个数值 bug
Google DeepMind 研究员 Jon Barron 等人发布 arXiv 论文《A Fix for Softmax and Cross-Entropy》，指出包括 JAX、PyTorch 乃至教科书在内的所有现有 softmax 与 cross-entropy 标准实现都藏着两个数值 bug，并引发关于形式验证的讨论。随后学者 Brandon Damos 补充称，这一 "近一致态" 的数值问题并不限于蒸馏中的软交叉熵损失，凡是使用 KL 散度的场景（如强化学习中的 KL 正则项）同样可能受到影响。
2026-10-27 ~ 2026-10-28 · 3 条相关
- 第 1 集:Barron 揭 softmax 与交叉熵实现两大数值 bug(2026-10-24,21 条)
- 第 2 集:Google 论文揭秘 softmax 与交叉熵实现中的两个数值 bug(2026-10-27,3 条)
- Google 研究员：所有 softmax/cross-entropy 实现都藏着两个 bug — jon_barron · 2026-10-27
- Google 论文指出 softmax 标准实现藏两个数值 bug，引发形式验证讨论 — srush_nlp · 2026-10-28
- 学者补充：softmax 数值 bug 同样存在于 RL 中的 KL 正则项 — heghbalz · 2026-10-28