44 节免费 GPU 内核工程系列：从朴素 GEMM 讲到 FlashAttention 覆盖 H100/Blackwell
Winter_Mistake_3185 · reddit · 2026-10-20
一位开发者在 Reddit 发布了免费、代码优先的 GPU 内核工程系列课程（计划 44 节），已放出导论与路线图视频，全部代码公开，明确不以售卖为目的。
核心理念：对多数 ML 负载，内核性能首先是数据搬运问题，其次才是计算问题。全系列围绕两条主线展开：
- Roofline 模型：可达吞吐受 min(峰值算力, 内存带宽 × 算术强度) 约束，内核相对脊点的位置决定该优化访存还是计算。
- FlashAttention 实战：数学上与标准注意力完全等价，收益来自 tiling 使 N×N 分数矩阵从不写入 HBM，从而削减显存流量，课程现场从零搭建。
路线图涵盖：CPU 并行与 GPU 架构基础、内存层级、GEMM 从朴素到优化（每步配合 profiling）、Tensor Cores、profiling 与调试、PyTorch 集成与 Triton、FlashAttention，以及 Hopper/Blackwell 专题（TMA、WGMMA、CUTLASS、FP8/量化、NVFP4、多卡基础、FlashAttention 4、DeepSeek 内核、AI 写内核与毕业项目）。
每节课都是「概念 → 现场写码 → profile → 对照 baseline 验证确实变快」。前置要求为 C/C++、基础线性代数和 PyTorch。作者注明后期课程（尤其 Blackwell/NVFP4）可能随工具链演进调整，并邀请有生产内核经验的开发者反馈课程遗漏点。
「Infra」频道最新
- SemiAnalysis：英伟达 GB300 FP4 反击提交仍比 TPUv7 每美元性能低 1.64 倍 — xennygrimmato_ · 2026-10-20
- RTX Spark 旧金山首发排长队,本地跑 Qwen 模型的 ODS 演示人气火爆 — TheZachMueller · 2026-10-20
- 机器人模型 Dream-1 Beta 单次成功运行成本仅 1.72 美元，比 LLM Agent 便宜最高 41 倍 — gharik · 2026-10-20
- Arm AGI CPU 实测:端到端 agentic 工作流达 x86 的 2 倍 — ryanshrout · 2026-10-20
- 工程师吐槽循环工程:CPU 核和推理算力永远缺一样 — kieranklaassen · 2026-10-20
- 西门子联手 NVIDIA 打造全 AI 工厂：工程量省 85%、上市快 40% — lukas_m_ziegler · 2026-10-20