GPU 利用率 100% 也会骗人：一份 42 页手册讲透 SM 与显存性能真相
techNmak · x · 2026-09-13
作者在撰写一份 42 页 GPU 性能手册时发现，多数人把三件事混为一谈：kernel 启动的工作量、实际驻留在 GPU 上的 warp、以及当前真正可发射指令的 warp——它们并不相同。
核心要点：
- 一个 240 blocks × 256 threads 的 kernel 有 61,440 个逻辑线程（1,920 个 warp），但受寄存器、shared memory、线程/块上限约束，并非全部同时驻留在 SM 上；驻留的 warp 还可能因访存、数据依赖或同步而等待。
- Occupancy ≠ GPU 利用率：前者是驻留 warp 与架构上限之比；NVML 的利用率只是采样窗口内至少一个 kernel 在执行的时间占比。
- 因此 GPU 显示 100% 利用率时，Tensor Core 和 HBM 带宽可能都远未饱和，瓶颈可能只卡在某个子系统。
- 显存层级（寄存器/shared memory/L1/L2/HBM）不是简单的快慢分级，作用域、容量、管理方式都不同；模型装进 HBM 不代表访存高效。FlashAttention 就是靠重排执行调度减少 HBM 与片上存储间流量的范例。
- Tensor Core 只负责矩阵乘累加，reduction、索引、elementwise、同步、数据搬运仍走 GPU 其他部分。
作者最终的结论是：别问「GPU 为什么不到 100%」，要问「现在真正限制有效进展的是什么」。
所属事件:42页GPU性能手册厘清利用率与占用率三大误区(2 条相关)→
「Infra」频道最新
- Baseten 优化 Qwen3-ASR 批量转写，登 Open ASR 榜 Pareto 前沿 — baseten · 2026-10-31
- Baseten 将 770GB 模型权重增量同步缩至 15 秒，快 7.5 倍 — baseten · 2026-10-31
- Meta 与 SpaceX 抢单，NeoCloud 生意遭前沿实验室绕开 — bookwormengr · 2026-10-31
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- GitHub Actions、Pages 与 Webhooks 发生大规模故障 — damontal · 2026-10-31