手写 B200 注意力内核，60图详解优化至94.4% FA4
JosephJacks_ · x · 2026-08-29
这篇技术长文详细记录了从零开始构建 B200 注意力内核的全过程。
- 目标：从朴素基线出发，优化至达到 FlashAttention-4 (FA4) 94.4% 的性能。
- 内容：包含 14 个 B200 注意力内核版本和 60 幅配套图表，直观展示每一步优化原理。
- 结构：文章通过循序渐进的方式，每次只引入一个主要优化点（如内存合并、Shared Memory 利用、Tiling 等），配合图表和代码讲解。
- 实战：最终的优化内核被集成到了一个视频生成模型中进行验证。
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15