这 10 篇 GPU 优化论文决定了今天模型跑得多快

NandoDF · x · 2026-11-04

Anshul 梳理了塑造当下模型推理与训练速度的 10 篇 GPU 优化论文，称真正读过它们的工程师将是两年后写 kernel 的人。包括：

FlashAttention (2022)：IO-aware 精确注意力，把 Q/K/V 分块送进片上 SRAM、在线 softmax，避免在 HBM 中物化二次方注意力矩阵；BERT-large 端到端提速 15%，GPT-2 提速 3 倍，并首次让 Transformer 在 Path-X 上超过随机水平。
FlashAttention-2 (2023)：重排 thread block 与 warp 间工作分配，减少非 matmul FLOPs，基准测试约比一代快 2 倍。
Stream-K (2023)：把 GEMM 内循环工作量切分成均衡块，缓解 wave 量化导致的 SM 空转。

配图展示了 FlashAttention 的内存层级原理（SRAM 19TB/s vs HBM 1.5TB/s vs DRAM 12.8GB/s）与各实现的 TFLOPs 对比。

「Infra」频道最新