从零构建 B200 内核：60 图解详解 CUDA 优化
dejavucoder · x · 2026-09-01
这篇博客通过 60 张图解，详细展示了如何从零开始构建一个密集的 B200 Attention Kernel，使用 CUDA 和少量 PTX，最终达到 FlashAttention-4 性能的 94.4%。
内容概览：
- 直观理解：首先建立对朴素内核工作原理的直观理解。
- 逐步优化：每次添加一个主要优化，配合详细图解和代码。
- 基准测试：在 4K、8K 和 16K 形状上进行测试。
- 实战应用：作为压轴项目，将最终内核接入视频生成模型。
文章旨在为读者提供在最新硬件上进行 GPU 内核研究的基础，并强调概念不仅适用于 B200。适合 CUDA 初学者及希望深入底层优化的开发者。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18