手写 B200 注意力内核，60图详解优化至94.4% FA4
JosephJacks_ · x · 2026-08-29
这篇技术长文详细记录了从零开始构建 B200 注意力内核的全过程。
- 目标：从朴素基线出发，优化至达到 FlashAttention-4 (FA4) 94.4% 的性能。
- 内容：包含 14 个 B200 注意力内核版本和 60 幅配套图表，直观展示每一步优化原理。
- 结构：文章通过循序渐进的方式，每次只引入一个主要优化点（如内存合并、Shared Memory 利用、Tiling 等），配合图表和代码讲解。
- 实战：最终的优化内核被集成到了一个视频生成模型中进行验证。
「Infra」频道最新
- Tenstorrent Quietbox 2 到货:256G 内存、128G 互联 GDDR — SashaUsesReddit · 2026-08-29
- DeepSeek 退款劝退用户？V4 贵于 GLM-5.3 引争议 — teortaxesTex · 2026-08-29
- EDA 工具文件可压缩性差，竟支撑起一家 SaaS 公司 — ai · 2026-08-29
- 工会支持数据中心建设，强调谈利益而非一味抵制 — apples_jimmy · 2026-08-29
- Qwen 3.8 Flash 结合 SGLang 实现零损耗 SSD 卸载 — Easy_Werewolf7903 · 2026-08-29
- 首届 vLLM 大会收官：演讲满场后屋顶酒会，AMD 联合主办 — vllm_project · 2026-08-29