FA kernel 数值实现脆弱：大数相减问题不止 FlashAttention
YouJiacheng · x · 2026-10-04
作者在讨论 attention kernel 的数值稳定性实现，指出 FlashAttention kernel 实现是脆弱的：exp(sij - lse) 本质是大数相减的 delta；对方将 lse 分离、用 c (S - m) - log(l) 的方法里 (S - m) 依然是大数相减。
所属事件:FlashAttention 大数相减隐患引热议(2 条相关)→
「Infra」频道最新
- Caddy 服务器累计 7.6 万星,自动 HTTPS 与 HTTP/3 仍是招牌 — caddyserver · 2026-10-04
- 本地 TTS+BLE 遥控器:躺在沙发上语音指挥 Claude 干活 — Cyborg-2077 · 2026-10-04
- HPE 营收暴涨 34% 至 122 亿美元,AI 硬件狂潮下的冷思考 — DavidLinthicum · 2026-10-04
- LangChain 编码 agent 成本连降两月，Harrison Chase 公开三步降本法 — hwchase17 · 2026-10-04
- 美国乡村数据中心将迎重大联邦税收减免,部分超大规模厂商却不买账 — nordicinst · 2026-10-04
- AI 数据中心巡检员:每天三万步守着 99.999% 在线率 — 创业邦 · 2026-10-04