Google 研究员 Jon Barron：JAX、PyTorch 的 softmax 实现全都藏着两个 bug
code_star · x · 2026-10-24
Google 研究员 Jon Barron 发布新结果：包括 JAX、PyTorch 乃至教科书在内的所有现有 softmax 与交叉熵实现都存在两个细微 bug。一个简单的重写即可修复两个问题，并能消除 grokking 过程中的 "slingshots"（弹射式损失震荡）现象。转发者评论称这很快会成为 MLE 面试题，人人都得装作自己能从第一性原理推出这个 bug。
所属事件:Google 论文：softmax 与交叉熵实现存在两个数值 bug(9 条相关)→
「研究」频道最新
- Kornia 0.9.0 发布：新增约定页专治 LLM 写代码的隐性 bug — kornia_foss · 2026-10-24
- Fleuret:teacher forcing 把时间迭代变成深度迭代让 GPU 高兴 — francoisfleuret · 2026-10-24
- Domingos 一句话总结:注意力头就是一个快速权重 MLP — pmddomingos · 2026-10-24
- 研究者：推理算力大规模并行部署后，LLM 行为研究将日趋像社会科学 — rosstaylor90 · 2026-10-24
- Ross Taylor 谈 RLCR：简单方法背后是大量必须做对的细节 — rosstaylor90 · 2026-10-24
- 商汤实测 GPT-6-Astra 具身智能,开源 27B 模型成本仅 1/50 — rohanpaul_ai · 2026-10-24