GPU 到底怎么跑深度学习：一篇讲透内存层级与优化策略的入门长文

goyal__pramod · x · 2026-09-25

Damek Davis 整理了一篇关于 GPU 工作原理与优化的入门博客，汇总了他数月学习的心得。

性能三态：除内存受限、计算受限外，还提出「开销（Overhead）」这第三种性能区间。
算力与内存的失衡：以 A100 为例，19.5 TFLOPS 算力 vs 仅 1.5 TB/s 显存带宽——读一个 4 字节数的时间够做 50 多次计算。
两大基础策略：算子融合（Operator Fusion）与分块（Tiling），并展开讲合并访存、bank conflict、warp 调度、occupancy 与延迟隐藏、线程发散规避、量化等主题。

文章来自其阅读《Making Deep Learning Go Brrrr From First Principles》、CUDA matmul 优化 worklog 等经典资料的提炼，适合作为 GPU 性能优化的系统性入门索引。

「Infra」频道最新