42 页 GPU 架构手册：厘清利用率、占用率与瓶颈的误区
techNmak · x · 2026-10-18
作者 techNmak 基于 42 页手写手册（附一页概览图）澄清了 GPU 性能的常见误读：
- 三个层面要分开：launch 的任务、真正驻留 GPU 的任务、当下可发射的任务不是一回事。例如 240 个 block × 256 线程 = 61,440 逻辑线程（1,920 个 warp），但驻留数量取决于寄存器、共享内存、warp/block 上限等约束。
- 指标陷阱：占用率是驻留数（每 SM 实驻 warp / 最大支持 warp）；而 NVML 的 GPU 利用率只是采样窗口内有 kernel 执行的时间占比——GPU 可以显示 100% 利用率，但 Tensor Core、HBM 带宽都没饱和，瓶颈在别处。
- 内存层次：寄存器、共享内存、L1/L2、HBM 各有不同的作用域与管理方式；模型装进 HBM 不代表访问合并好、复用高。FlashAttention 靠 tiling + 重计算减少 HBM 流量就是例子。
- Tensor Core 不是「跑模型」的全部：reduction、逐元素操作、同步、kernel 启动开销仍由其他单元承担。
作者的结论是从「为什么 GPU 没到 100%」转向问「现在到底什么在限制有效进展」。手册覆盖 SM/warp/调度器、延迟隐藏、GEMM 映射、精度等主题。
「Infra」频道最新
- Megabake 编译器让 SmolLM 达 torch.compile 5.5 倍速度 — ricklamers · 2026-10-18
- 价值 47 万美元两托盘 ZOTAC RTX 5090 在巴西机场失踪 — chemist_slime · 2026-10-18
- Mac Studio M3 Ultra 单机跑 Muse Spark,解码达 18 t/s — challis88ocarina · 2026-10-18
- EKS 实战:跨两台 GPU 节点拆分 LLM 推理,prefill/decode 分离部署 — dl_weekly · 2026-10-18
- Solo.io 拆解 NVIDIA OpenShell 与 Agent Substrate：谁家 Agent 沙箱更能扩 — bibryam · 2026-10-18
- 是时候谈谈 TEE 了：可信执行环境为何愈发重要 — joshcsimmons · 2026-10-18