从零构建 B200 内核：60 图解详解 CUDA 优化
dejavucoder · x · 2026-09-01
这篇博客通过 60 张图解，详细展示了如何从零开始构建一个密集的 B200 Attention Kernel，使用 CUDA 和少量 PTX，最终达到 FlashAttention-4 性能的 94.4%。
内容概览：
- 直观理解：首先建立对朴素内核工作原理的直观理解。
- 逐步优化：每次添加一个主要优化，配合详细图解和代码。
- 基准测试：在 4K、8K 和 16K 形状上进行测试。
- 实战应用：作为压轴项目，将最终内核接入视频生成模型。
文章旨在为读者提供在最新硬件上进行 GPU 内核研究的基础，并强调概念不仅适用于 B200。适合 CUDA 初学者及希望深入底层优化的开发者。
「Infra」频道最新
- LLM-Checker：扫描硬件自动推荐适合的本地大模型 — _jaydeepkarale · 2026-09-01
- 欧盟斥资 3.878 亿欧元订购专用 AI 超级计算机 — emmanuelvivier · 2026-09-01
- Gemma 4 12B QAT 开启 MTP 推理速度反而下降的排错 — NovaXeros · 2026-09-01
- 弗吉尼亚劳登县：占地不到 3% 的数据中心创收超 10 亿美元 — rohanpaul_ai · 2026-09-01
- llama.cpp AMD GFX906 优化分支：PP 提升 14%，长上下文填充提升 9% — milpster · 2026-09-01
- 特斯拉算力扩张速度惊人，去年嘲笑声今安在 — chris_j_paxton · 2026-09-01