Jon Barron：softmax 与交叉熵所有主流实现都有两处隐藏 bug
jon_barron · x · 2026-10-25
Google 研究员 Jon Barron 分享新结果：JAX、PyTorch 乃至教科书中 softmax 与交叉熵的所有现有实现都存在两个微妙的 bug，简单重写即可修复，并能消除 grokking 过程中的 slingshot 现象。此前 AggieInCA 等人的论文曾观察到训练 loss 尖峰（slingshot effect），当时推测与数值精度有关但未能定位触发条件，Barron 的新工作找到了根因并给出修复方案。原观察者确认该论文修复了他们当年未能解决的问题。
所属事件:Barron 揭 softmax 与交叉熵实现两大数值 bug(21 条相关)→
「研究」频道最新
- 论文提出「瓶颈压力」指标:AI 替代不了的工作何时更值钱 — soumitrashukla9 · 2026-10-28
- IEEE IT 刊文：希尔伯特空间高斯测度间的几何 Jensen-Shannon 散度 — FrnkNlsn · 2026-10-28
- CPR 数据集:现有检索器跨领域联想最佳 Recall@10 仅 0.26 — coallaoh · 2026-10-28
- HuggingFace 机器鸭雪地行走：29 万片雪花物理仿真有多较真 — lukas_m_ziegler · 2026-10-28
- Mercor 联合斯坦福、NBER 发布开源任务目录 TaskNet,补齐 O*NET 盲区 — soumitrashukla9 · 2026-10-28
- François Fleuret 提出对齐三步法：预训练加 RL、给 token 标「想/说」 — francoisfleuret · 2026-10-28