斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存
stanfordnlp · x · 2026-10-21
Stanford CS336 2026 春季第 6 讲(Percy Liang 主讲)配套长文,讲 GPU kernel 优化的核心逻辑:
- 短的张量表达式≠少的显存往返:以 1024×1024 float32 softmax 为例,五个分离 pass 的逻辑读写约 32 MiB,理想融合 kernel 只需 8 MiB(读输入、中间值留在片上、写输出),逻辑流量比约 4 倍——但这不是实测 4 倍加速,cache、reduction 成本、寄存器压力仍会影响。
- Triton 编程模型:一个 program 拥有一块数据、mask 尾部、做本地计算;BLOCKSIZE 是逻辑元素数,不是 CUDA 线程数。
- 基准测量方法:CUDA launch 是异步的,Python 计时大多测到提交开销;正确做法是先 warm up,再用 CUDA event 记录起点/终点并等待完成。
- 课程示例从 GELU 融合推进到 softmax、行归约和带激活的 tiled 矩阵乘,官方录屏与代码公开。
所属事件:斯坦福 CS336 新课讲透 GPU kernel 优化要义(2 条相关)→
「Infra」频道最新
- PyTorch 官方详解 IBM Spyre 后端：KTIR 与数据流调度器如何跑通 AI 加速器 — PyTorch · 2026-10-21
- 独立开发者用 YAML 流水线+Spot GPU+vLLM 把 AI 账单大幅砍掉 — cmm324 · 2026-10-21
- DeepSeek 开源 V4.1-Flash 背后的推理引擎 DeepInfer — The Decoder · 2026-10-21
- 机器人推理平台上线 Deployments:可云端部署 HF 微调模型 — arnie_hacker · 2026-10-21
- 路透：字节阿里腾讯下单超300万块英伟达RTX PRO 5500，总价超350亿美元 — SumitGup · 2026-10-21
- TorchTPU 实测演示：vLLM 与 SGLang 统一后端跑 TPU 服务 — Rob_Mulla · 2026-10-21