Softmax 两大 bug 之二：蒸馏时 student=teacher 仍产生非零梯度
jon_barron · x · 2026-10-24
Jon Barron 继续拆解第二个 bug「Softmax Cancellation」：当模型输出的 logits 非常接近软目标 logits 时（例如蒸馏场景中 student 初始化为 teacher），现有实现即使 student == teacher 也会产生非零梯度。同时指出修复 CE 后可消除 slingshot 尖峰、加速 grokking，且 weight decay 与 Adam 的 eps 共同限制了 logits 增长上限——默认 eps=1e-8 恰好落在 fp32 下该 bug 触发点附近，这可能解释了为什么有人认为小 eps 危险。
所属事件:谷歌研究员称 JAX/PyTorch 的 Softmax 与交叉熵实现全有 bug(6 条相关)→
「研究」频道最新
- 3D Gaussian Splatting 突破:水体与岩浆也能动起来了 — jonstephens85 · 2026-10-24
- Immorta Bio 发布 AI 设计的九氨基酸肽 SenoMune-0257,靶向清除衰老细胞 — DavidmComfort · 2026-10-24
- 法国用 MLang 编译器重写税法，实现可验证的计税代码 — fkasummer · 2026-10-24
- 在消费级云端 GPU 上运行蛋白质设计模型 RFD4-Proteina — AllThingsApx · 2026-10-24
- SCOPE 论文：把自然语言策略编译成可执行神经符号程序 — 1982_miguel · 2026-10-24
- Humansand 高产一周：开源内核同时提升精度与速度 — gharik · 2026-10-24