Nvidia GPU 利用率误导大？A100 实测指令发射率不足一半

tokenbender · x · 2026-08-19

很多人误以为 nvidia-smi 显示的 GPU 利用率高就是算力跑满了，但该指标仅代表至少有一个 Kernel 在运行的时间占比。DATE 2024 论文对 A100 上的 TensorFlow 负载实测发现：GPU 级利用率虽高，但平均指令发射率低于 50%，Tensor Core 指令占比更是低于 5.2%。这也解释了为何新一代架构（如 Blackwell 的 TMEM）致力减少数据移动开销。