Google 论文指出 Softmax 存在两个数值 bug,修复可消除 Slingshot 现象
ZeYanjie · x · 2026-10-24
Jonathan Barron 等(Google)发布 arXiv 论文《A Fix for Softmax and Cross-Entropy》，指出标准 softmax/log-softmax/cross-entropy 实现存在两个数值 bug：
- Softmax Collapse：当目标 logit 远大于其他 logit 时，其梯度被舍入为零，梯度之和不再为零；
- Softmax Cancellation：学生 logit 接近教师 logit 时，即使两者相等仍产生非零梯度。
作者给出修复这两个 bug 的简单实现，并展示其效果：消除此前观察到的「Slingshot」现象、在有 weight decay 时加速 grokking、无 weight decay 时防止精度崩溃、阻止蒸馏中学生网络漂离教师；还证明记忆化之后 logit 增长受 weight decay 与 Adam ε 超参之间平衡的约束。
所属事件:谷歌研究员称 JAX/PyTorch 的 Softmax 与交叉熵实现全有 bug(6 条相关)→
「研究」频道最新
- 3D Gaussian Splatting 突破:水体与岩浆也能动起来了 — jonstephens85 · 2026-10-24
- Immorta Bio 发布 AI 设计的九氨基酸肽 SenoMune-0257,靶向清除衰老细胞 — DavidmComfort · 2026-10-24
- 法国用 MLang 编译器重写税法，实现可验证的计税代码 — fkasummer · 2026-10-24
- 在消费级云端 GPU 上运行蛋白质设计模型 RFD4-Proteina — AllThingsApx · 2026-10-24
- SCOPE 论文：把自然语言策略编译成可执行神经符号程序 — 1982_miguel · 2026-10-24
- Humansand 高产一周：开源内核同时提升精度与速度 — gharik · 2026-10-24