开源免费教程「Before GPU Engineering」：56章从零吃透GPU架构

techNmak · x · 2026-11-01

发现一个名为 Before GPU Engineering 的免费开源学习资源，是一个结构化数字笔记，共 56 章、分四个阶段，从底层讲解 GPU 架构与性能工程。

其特色在于不直接上手 CUDA/Triton，而是先建立对 GPU 实际如何执行程序、搬运数据、处理并行负载的理解。内容涵盖：CPU vs GPU 架构、warp/SIMT/线程块、寄存器/共享内存/HBM、compute-bound vs memory-bound、kernel 启动与竞态、内存合并访问、occupancy 与延迟隐藏、算术强度、tiling 与矩阵乘法等。