Google DeepMind 论文：softmax 标准实现暗藏两个数值 bug
kalyan_kpl · x · 2026-10-25
Google DeepMind 研究员 Jonathan T. Barron 等人发布论文，指出 softmax、log-softmax 和 cross-entropy 的标准实现存在两个数值 bug：
- Softmax Collapse：当目标 logit 远大于其他 logit 时，其梯度被舍入为零，导致梯度不再满足和为零的性质。
- Softmax Cancellation：当学生网络 logit 接近教师 logit 时，即使两者相等也会产生非零梯度。
论文给出修复两个问题的简单实现，并证明该修复能消除此前观察到的 "Slingshot" 现象、加速带权重衰减下的 grokking、防止无权重衰减时的准确率坍塌、阻止蒸馏中学生网络偏离教师网络，还表明记忆化发生后 logit 增长受权重衰减与 Adam 的 ε 超参数之间平衡的约束。
所属事件:Barron 揭 softmax 与交叉熵实现两大数值 bug(21 条相关)→
「研究」频道最新
- IEEE IT 刊文：希尔伯特空间高斯测度间的几何 Jensen-Shannon 散度 — FrnkNlsn · 2026-10-28
- CPR 数据集:现有检索器跨领域联想最佳 Recall@10 仅 0.26 — coallaoh · 2026-10-28
- HuggingFace 机器鸭雪地行走：29 万片雪花物理仿真有多较真 — lukas_m_ziegler · 2026-10-28
- Mercor 联合斯坦福、NBER 发布开源任务目录 TaskNet,补齐 O*NET 盲区 — soumitrashukla9 · 2026-10-28
- François Fleuret 提出对齐三步法：预训练加 RL、给 token 标「想/说」 — francoisfleuret · 2026-10-28
- 基准也有保质期：Reddit 整理评测发布时间线防 benchmaxxing — Express_Quail_1493 · 2026-10-28