斯坦福 CS336 课讲透 GPU kernel：数据搬运才是真正的开销
stanfordnlp · x · 2026-10-21
斯坦福 CS336「从零构建语言模型」课程中，Percy Liang 讲解了 GPU kernel 的核心原理：
- kernel 就是运行在 GPU 上的函数，PyTorch 里每个基础算子都会启动自己的 kernel。y = gelu(x) 2 实际是两个 kernel：读 x → gelu → 写回，再读 → 乘 2 → 写回。
- 把多个操作融合成一个 kernel，只需读写各一次，数学计算不变但显存流量减半——核心原则是让数据移动得尽可能少，计算本身很便宜，搬运数据才贵。
- 两大技巧：算子融合（如 matmul 与激活函数合并）和 tiling 分块（FlashAttention 因此从不把完整注意力矩阵写进显存）。
- 可用 CUDA、Triton、CUTLASS、ThunderKittens 编写 kernel，也可用 torch.compile。
所属事件:斯坦福 CS336 新课讲透 GPU kernel 优化要义(2 条相关)→
「Infra」频道最新
- Google 开源 TorchTPU，联手 Amazon 挖角 NVIDIA 的 PyTorch 生态 — gaganghotra_ · 2026-10-21
- FastVideo 开源 FastH3 Omni：Blackwell 上实时生成快 12 倍 — multimodalart · 2026-10-21
- Anthropic IPO 草案曝光：上半年营收 163 亿美元，净亏 800 亿 — kimmonismus · 2026-10-21
- dphnAI 分布式推理网络日供 320 亿 DeepSeek tokens,约为 Venice 日量 6% — Ronangmi · 2026-10-21
- 黄仁勋:未来每家公司都将拥有两座工厂,一座真实一座数字 — round · 2026-10-21
- DeepSeek V4 被评「神级 infra + 四流 ML」:一次发布堆 7 个技巧 20 个补丁 — teortaxesTex · 2026-10-21