Google 论文指出 softmax 标准实现藏两个数值 bug，引发形式验证讨论
srush_nlp · x · 2026-10-28
Jonathan T. Barron 等人的 arXiv 论文《A Fix for Softmax and Cross-Entropy》指出 softmax、log-softmax 与交叉熵的标准实现存在两个数值 bug：
- Softmax Collapse：当目标 logit 远大于其他 logit 时，其梯度被舍入为零，导致梯度不再求和为零；
- Softmax Cancellation：当学生网络 logits 接近教师 logits 时，即使两者相等也会产生非零梯度。
作者给出修复后的简单实现，并展示修复可消除此前观察到的 "slingshot" 现象、加速带权重衰减的 grokking、防止无权重衰减时的精度崩塌、阻止蒸馏中学生的 logits 偏离教师。
转发的讨论指出 TorchLean 也曾有同样的 bug，并借此说明做形式验证时应有的心态——数值实现里的边界情况容易被忽视。
所属事件:Google 论文揭秘 softmax 与交叉熵实现中的两个数值 bug(3 条相关)→
「研究」频道最新
- RobotAgentBench 发布：VLA 会操作≠能自主，任务发现是短板 — HennyJieCC · 2026-10-28
- AIFlow 发问:生成世界训练的机器人策略过真实测试,敢不敢上线 — AIFlow_ML · 2026-10-28
- 新论文:按梯度范数排序注意力头,稀疏 RL 微调媲美全量训练 — SimonShaoleiDu · 2026-10-28
- 学者称 arXiv 已难承担预印本职,未来或沦为论文分发平台 — mjuric · 2026-10-28
- DeepMind 机器人模型短板：物体恒存性会漂移，2 厘米位移即认不出 — AIFlow_ML · 2026-10-28
- Hugging Face 研究员推出 Carbon-X 协调层：代币换社区训练额度与 DNA 赏金 — LoubnaBenAllal1 · 2026-10-28