BF16 舍入破坏守恒律,FlashAttention 梯度训练后期爆炸
HongyiWang10 · x · 2026-10-04
BF16 注意度的隐性梯度 bug
Rutgers 团队用 FlashAttention-3 以 BF16 预训练一个 450M 参数、50B token 的 transformer 时发现:训练前 25B token 一切正常,随后梯度范数暴涨 1000 倍,最终 loss 比 FP32 attention 高 0.2 nats,且全程没有一个 NaN——训练「看起来健康」不代表梯度正确。
- 根因一:forward softmax 中的 fused multiply-add 舍入误差(此前被当作极端输入的 NaN 场景,从未修复)。
- 根因二:BF16 舍入破坏了 softmax 梯度每行和为零的守恒律,泄漏出均值 key 进梯度;训练后期 key 变大、attention 变尖锐时泄漏恰好放大。
修复:GProj
作者提出 gauge projection(GProj),在舍入后恢复该守恒律。实验中 query/key 梯度精度和最终 loss 与 FP32 attention 相当,仅增加约 4.7% 的每步耗时。单独用 FP32 重算两层 attention backward 即可消除几乎全部多余梯度。
> 训练看着没问题?也去查一查 backward pass。
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20