Jon Barron 发现 JAX、PyTorch 全体 softmax/cross-entropy 实现都有两个隐蔽 bug
IgorCarron · x · 2026-10-24
Google 研究员 Jon Barron（jf）宣布新结果：JAX、PyTorch 以及教科书等所有现有 softmax 和 cross-entropy 实现都存在两个隐蔽 bug，一次简单的重写即可同时修复，并能消除 grokking 现象中的「slingshot」（弹射）不稳定。
要点：
- 影响面极广：所有主流深度学习框架与教科书的标准实现都中招；
- bug 本身隐蔽，多数场景下影响不大，但在 grokking 等训练动力学敏感场景会引发 slingshot 式的损失突跳；
- 修复方案是对计算式做一次简单重写，作者已发布对应论文与代码。
这是少数能影响整个框架生态的基础数值问题，值得所有训练大模型的人关注。
所属事件:Barron 揭 softmax 与交叉熵实现两大数值 bug(21 条相关)→
「研究」频道最新
- IEEE IT 刊文：希尔伯特空间高斯测度间的几何 Jensen-Shannon 散度 — FrnkNlsn · 2026-10-28
- CPR 数据集:现有检索器跨领域联想最佳 Recall@10 仅 0.26 — coallaoh · 2026-10-28
- HuggingFace 机器鸭雪地行走：29 万片雪花物理仿真有多较真 — lukas_m_ziegler · 2026-10-28
- Mercor 联合斯坦福、NBER 发布开源任务目录 TaskNet,补齐 O*NET 盲区 — soumitrashukla9 · 2026-10-28
- François Fleuret 提出对齐三步法：预训练加 RL、给 token 标「想/说」 — francoisfleuret · 2026-10-28
- 基准也有保质期：Reddit 整理评测发布时间线防 benchmaxxing — Express_Quail_1493 · 2026-10-28