Google DeepMind 揭出标准 softmax 与交叉熵的两处数值错误
burkov · x · 2026-10-25
Google DeepMind 的文章指出，即使公式数学上正确，标准 softmax 与交叉熵实现中的两处数值误差也可能扭曲神经网络训练：
- 其一：对高置信度的正确预测，梯度会被完全抹掉，而其他类别却残留小梯度；
- 其二：当学生模型预测接近教师模型时(蒸馏场景)，会产生不准甚至非零的错误梯度。
这些问题的严重性在于 Adam 等自适应优化器会把微小的梯度误差放大成实质性的训练变化。文章目标是给出 softmax、log-softmax 与交叉熵的直接替代实现：作者推导了避免舍入与相消误差的稳定计算方式，并在低精度和标准浮点格式下验证了梯度的准确性。
所属事件:Barron 揭 softmax 与交叉熵实现两大数值 bug(21 条相关)→
「研究」频道最新
- 论文提出「瓶颈压力」指标:AI 替代不了的工作何时更值钱 — soumitrashukla9 · 2026-10-28
- IEEE IT 刊文：希尔伯特空间高斯测度间的几何 Jensen-Shannon 散度 — FrnkNlsn · 2026-10-28
- CPR 数据集:现有检索器跨领域联想最佳 Recall@10 仅 0.26 — coallaoh · 2026-10-28
- HuggingFace 机器鸭雪地行走：29 万片雪花物理仿真有多较真 — lukas_m_ziegler · 2026-10-28
- Mercor 联合斯坦福、NBER 发布开源任务目录 TaskNet,补齐 O*NET 盲区 — soumitrashukla9 · 2026-10-28
- François Fleuret 提出对齐三步法：预训练加 RL、给 token 标「想/说」 — francoisfleuret · 2026-10-28