Jon Barron 发现 softmax 与交叉熵实现暗藏两个 bug，简单重写即可修复

agarwl_ · x · 2026-10-24

Google 研究员 Jon Barron 发布新结果：包括 JAX、PyTorch 乃至教科书在内的所有现有 softmax 与交叉熵实现都存在两个细微 bug。只需一次简单的公式重写即可同时修复，并能消除 grokking 现象中的「slingshot」不稳定性。

转发者 petrenkoai 补充：其团队约一年半前的论文就发现过这个 softmax「bug」，但在实际训练中很难找到真正受影响的场景——因为对高概率 token 的梯度本来就极小。他仍建议修复，并推荐 Barron 提出的优雅修复方案。