CUDA 矩阵乘法优化实战:从朴素实现干到 cuBLAS 93.7% 性能
RisingSayak · x · 2026-11-16
Simon Boehm 的工作日志式教程演示如何把一个朴素 CUDA SGEMM 内核逐步优化到接近 cuBLAS 水平(最好情况下达 93.7%)。
关键路径与成绩:
- Naive:309 GFLOPs/s,仅为 cuBLAS 的 1.3%
- GMEM 合并访问(Coalescing):单这一步就从 1.3% 跳到 8.5%,提升最大
- 共享内存缓存(SMEM):12.8%
- 1D/2D Blocktiling:36.5% → 68.7%
- 向量化内存访问:78.4%
- 自动调参 + Warptiling:84.8% → 93.7%(21779 GFLOPs/s,cuBLAS 为 23249)
文章覆盖合并全局内存访问、共享内存缓存、occupancy 优化等 GPU 核心性能特性,代码全部开源,适合想深入理解深度学习底层 GPU 性能的工程师。
「Infra」频道最新
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16
- 芯片业铁律:出货量说了算,Intel 输在丢了需求 — TheKanter · 2026-11-16
- 台北101点亮「台湾❤️Jensen」,科技界集体声援黄仁勋 — liu_mingyu · 2026-11-16
- Nous 高管提醒:勿用 GPT 900k 变体,272k 后加收费用 — Teknium · 2026-11-16
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16
- tandem.cpp v0.3.0 让装不进显存的大模型预填充快 2-6 倍 — smflx · 2026-11-16