DeepMind 的 Jon Barron：所有 softmax 与交叉熵实现都有两个微妙 bug
jon_barron · x · 2026-10-29
Google DeepMind 研究员 Jon Barron 发布新结果：包括 JAX、PyTorch 以及教科书在内的所有现有 softmax 和交叉熵实现都存在两个微妙的 bug。他给出的简单改写可以同时修复这两个问题，并消除 grokking 过程中出现的 "slingshots" 现象。DeepMind 研究主管 Raia Hadsell 转发称这是"质疑一切"的好提醒。
「研究」频道最新
- JHU 提出 Hexels:六边形原语省 5.5 倍显存,PSNR 反超 3DGS — ssh4net · 2026-10-29
- 人机互补监督研究：3957 项安全任务显示结合人类判断尚无良方 — sethlazar · 2026-10-29
- 「表达鸿沟」预印本发布：度量人类与 AI 中不可言说的默会知识 — sanmikoyejo · 2026-10-29
- 研究实测：同行评审最不可言传，越写清偏好越失真 — sanmikoyejo · 2026-10-29
- 新方法超 GEPA 约 14%：结构化搜索 + prompt 性能上限估计 — sanmikoyejo · 2026-10-29
- 借生态学“捕获-再捕获”估计 rubric 还有多少未发现指标 — sanmikoyejo · 2026-10-29