GPU 利用率 100% 也会骗人：一份 42 页手册讲透 SM 与显存性能真相

techNmak · x · 2026-09-13

作者在撰写一份 42 页 GPU 性能手册时发现，多数人把三件事混为一谈：kernel 启动的工作量、实际驻留在 GPU 上的 warp、以及当前真正可发射指令的 warp——它们并不相同。

核心要点：

一个 240 blocks × 256 threads 的 kernel 有 61,440 个逻辑线程（1,920 个 warp），但受寄存器、shared memory、线程/块上限约束，并非全部同时驻留在 SM 上；驻留的 warp 还可能因访存、数据依赖或同步而等待。
Occupancy ≠ GPU 利用率：前者是驻留 warp 与架构上限之比；NVML 的利用率只是采样窗口内至少一个 kernel 在执行的时间占比。
因此 GPU 显示 100% 利用率时，Tensor Core 和 HBM 带宽可能都远未饱和，瓶颈可能只卡在某个子系统。
显存层级（寄存器/shared memory/L1/L2/HBM）不是简单的快慢分级，作用域、容量、管理方式都不同；模型装进 HBM 不代表访存高效。FlashAttention 就是靠重排执行调度减少 HBM 与片上存储间流量的范例。
Tensor Core 只负责矩阵乘累加，reduction、索引、elementwise、同步、数据搬运仍走 GPU 其他部分。

作者最终的结论是：别问「GPU 为什么不到 100%」，要问「现在真正限制有效进展的是什么」。

「Infra」频道最新