60 张图解从零写出 B200 注意力内核，逼近 SOTA 性能
magoghm · hn · 2026-09-02
一篇图文教程用 60 张图完整讲解如何在 NVIDIA B200 GPU 上从零实现注意力（Attention）内核并达到接近 SOTA 的性能。内容覆盖 B200 硬件特性（如 TMA、张量核心、共享内存层次）、Flash Attention 的分块计算思路、bank conflict 与 swizzle、warp 特化等关键细节，配合图示逐步推导每个优化步骤，是学习 GPU 内核工程与注意力优化的高质量材料。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18