Softmax 墙：低精度注意力已不再受矩阵乘法瓶颈
burny_tech · x · 2026-11-10
Vincent Zhong 长文指出：芯片厂商每代将矩阵吞吐提升 2–4 倍，却没同步升级 SFU、向量 ALU 与共享内存带宽，导致注意力 roofline 被反转——在 FP8/FP4 下，attention 的瓶颈已从矩阵乘法转移到 softmax 的超越函数/向量运算与片上内存搬运。
要点：
- AMD MI355X 上 BF16→FP8 使 32×128 tile 的两个 attention GEMM 仅需 1024 cycles，但精确 FP8 softmax 却耗时 896 cycles，几乎吃掉全部收益；
- Blackwell 用多项式 FMA 逼近超越函数，Rubin 需 7 步 TMEM repack 往返；
- 2:4 结构化稀疏在成对 4:8 下会崩塌，细粒度稀疏行不通；
- 结论：粗粒度 token 级稀疏（如 DeepSeek Sparse Attention / DeepSeek-V4.1 在 softmax 前整键丢弃）才是正确方向。
「Infra」频道最新
- 2x RTX PRO 6000 桌面 AI 主机 26100 美元起,把数据中心搬回家 — dee_hw · 2026-11-10
- 淘宝 MNN-Pocket-0.3B 登上 Hugging Face 热榜:Qwen3 端侧 INT4 小模型 — taobao-mnn · 2026-11-10
- Cloudflare Auto Router 实测体验如何？开发者在找智能 LLM 路由 — MartinGTobias · 2026-11-10
- 搜索和推荐系统早就全是 Transformer:圈外人误解有多深 — burny_tech · 2026-11-10
- Hetzner 推 eBPF 云网络栈 hcnet Beta,单机并发连接提至 24 万 — DanielLockyer · 2026-11-10
- 思科 2026 财年超大规模 AI 订单 93 亿美元,同比增 4.5 倍 — shashib · 2026-11-10