Jon Barron 发现 softmax 普遍 bug,FlashAttention 反向传播同样中招
jon_barron · x · 2026-10-25
Google 研究员 Jon Barron 指出,JAX、PyTorch 乃至教科书中所有现有的 softmax 与 cross-entropy 实现都存在两个细微 bug,一次简单重写即可修复,并能消除 grokking 过程中的「slingshot」现象。
后续 Alex Rose 指出 FlashAttention 的反向传播存在同样的零和 bug:在 FP4 随机舍入下每次计算都出错。其 ICLR'27 投稿 CroissAttn 修复了该问题,使端到端 FP4 训练成为可能。
所属事件:Barron 揭 softmax 与交叉熵实现两大数值 bug(21 条相关)→
「Infra」频道最新
- OpenRouter 达成首个亚太合作：韩国 KT 成主权模型提供商 — AccBalanced · 2026-10-28
- 工程师给 GPS 频率基准换 Noctua 风扇,挖出「豪猪」散热器 — Pytlicek · 2026-10-28
- 爆料称超轻量模型可在手机运行，文本版量化后不足 1GB — JosephJacks_ · 2026-10-28
- EDK II PXE 驱动曝开机前 RCE 漏洞,一个特制数据包可劫持全球大量服务器 — cyb3rops · 2026-10-28
- 无屏 M1 Air 成本仅 $30/千分，可组廉价 Mac 硅集群跑任务 — vincent_koc · 2026-10-28
- RTX 3080 解锁 Tensor Core 实测:TFLOPS 暴涨 80%-87% — Revolutionalredstone · 2026-10-28