谷歌研究员发现 Softmax 与交叉熵两个数值 bug，修复后消除 Slingshot 现象
jon_barron · x · 2026-10-24
Google 研究员 Jonathan T. Barron 等人发布 arXiv 论文《A Fix for Softmax and Cross-Entropy》，指出标准 softmax、log-softmax 和交叉熵实现中存在两个数值 bug：
- Softmax Collapse：当目标 logit 远大于其他 logit 时，其梯度被四舍五入为零，导致梯度之和不再为零。
- Softmax Cancellation：学生 logit 与教师 logit 非常接近时（如蒸馏中以 teacher 初始化 student），即使两者完全相等也会产生非零梯度。
作者给出了修复两种 bug 的简单实现，效果包括：消除此前观察到的 "Slingshot" 现象、加速带权重衰减的 grokking、在无权重衰减时防止精度崩溃、阻止蒸馏中学生网络偏离教师，并证明记忆化之后 logit 增长受权重衰减与 Adam 的 ε 超参数之间的平衡约束。
所属事件:谷歌研究员称 JAX/PyTorch 的 Softmax 与交叉熵实现全有 bug(6 条相关)→
「研究」频道最新
- 语言学新研究:词频越高越易约定俗成,共享曝光多的社区更倾向规约化 — abenitezburraco · 2026-10-24
- 3D Gaussian Splatting 突破:水体与岩浆也能动起来了 — jonstephens85 · 2026-10-24
- Immorta Bio 发布 AI 设计的九氨基酸肽 SenoMune-0257,靶向清除衰老细胞 — DavidmComfort · 2026-10-24
- 法国用 MLang 编译器重写税法，实现可验证的计税代码 — fkasummer · 2026-10-24
- 在消费级云端 GPU 上运行蛋白质设计模型 RFD4-Proteina — AllThingsApx · 2026-10-24
- SCOPE 论文：把自然语言策略编译成可执行神经符号程序 — 1982_miguel · 2026-10-24