读懂 CUDA Programming Model 一章,GPU 执行与内存管理就懂了大半
blelbach · x · 2026-10-10
gpusteve 推荐把 NVIDIA CUDA Programming Guide 的 Programming Model 一章作为掌握 GPU 执行与内存管理的核心读物，称吃透这一章就能超过绝大多数人对 GPU 的理解。
该章覆盖：
- thread block、warp、分支分歧与 SIMT 执行模型
- tile 编程与 shared memory 的数据放置
- block clusters 及 CPU/GPU 间的数据分布
作者指出，训练/推理中优化矩阵乘法和 reduction，本质就是在这些执行与内存规则约束下决定张量切分、线程间通信和数据存放位置。这条推荐是 waferai 的 AI 性能工程资源仓库（ai performance engineering repo）系列的第 11 期资源。
「Infra」频道最新
- Bittensor 算力租赁月报:支出增 45%,租约失败率降 32% — markjeffrey · 2026-10-10
- 给 Grok Bot 配 pit crew：前沿模型做规划，免费模型干杂活 — alexcovo_eth · 2026-10-10
- AI 热潮变债务热潮:Oracle 5年CDS 近纪录261bp,隐含违约率20.4% — cyb3rops · 2026-10-10
- Fireworks AI 遭内部凭证被盗用,已撤销并称未见客户数据受影响 — lqiao · 2026-10-10
- 美国电网今年新增 86GW,AI 实验室需求达数百 GW — FinanceYF5 · 2026-10-10
- Qwen3.6 35B-A3B 跑进 6GB 显存：131K 上下文 + 视觉，附完整 llama.cpp 配置 — Szadbaverem69 · 2026-10-10