Google 研究员：所有 softmax/cross-entropy 实现都藏着两个 bug
jon_barron · x · 2026-10-27
Google DeepMind 研究员 Jon Barron 发布新结果：包括 JAX、PyTorch 乃至教科书在内的所有现有 softmax 与 cross-entropy 实现都存在两个细微的数值 bug——舍入误差会在 logits 接近一致（near-agreement）时抹掉真实梯度差异或留下虚假残差，并导致 grokking 过程中的「slingshot」现象。一次简单重写即可同时修复两个问题。
Brandon Damos 随后补充了蒸馏一侧的对应分析（见配图总结）：
- Forward KL / soft cross-entropy：朴素梯度 q−p 在舍入后会丢失差异或留下假残差；修复方法是先从 logits 重构并修正梯度求和的舍入误差。
- Reverse KL：对舍入后的 log 概率做减法会抹掉小的 log-ratio；修复方法是在 q 下对 logit 差做中心化，在舍入前消掉 log-normalizer。
- 广义 JSD：log-ratio 减法与 KL 项间的相消会丢失小梯度；修复方法是从 logit 差恢复 τᵢ，用 log1p/expm1 计算 hᵢ 并在 q 下中心化。
数值实验显示：朴素梯度在 logit gap 约 1e-5 以下误差平台化（偏离高精度参考 5 个数量级以上），修复后的梯度与高精度参考在 1e-12 尺度上保持一致。结论是蒸馏与训练目标在数值实现层面普遍存在精度陷阱，均有可行的改写方案。
「研究」频道最新
- 层级连续流语言模型让路径级 RL 更能抵御 critic 利用 — vxnuaj · 2026-10-27
- rauchg 复现 OpenAI 发现：无网络微VM 也能借 CPU 争用 covert 通信 — ccerrato147 · 2026-10-27
- 微软研究院：ForkPilot 让 Agent 决策回溯的算力开销最高降 59% — EliasEskin · 2026-10-27
- 微软发布 TeleTune：从离线遥测数据自动演化 Computer-use Agent 技能 — EliasEskin · 2026-10-27
- FlexGlue:稀疏到稠密特征匹配，速度与精度兼得并可甄别误配图像对 — zhenjun_zhao · 2026-10-27
- PixGR:像素空间生成式解码加速前馈 3D 重建，稀疏视角下超越回归方法 — zhenjun_zhao · 2026-10-27