NVIDIA 老兵详解 CUDA Graphs 为何比 Stream 启动开销更低
blelbach · x · 2026-10-21
针对「为什么向 stream 里排队 kernel 启动的开销比 CUDA graph 还高」的疑问，曾参与 CUDA Graphs 早期开发的 blelbach 给出底层解释：
- 一切最终归结为写入 buffer 再发送给 GPU 的命令序列。
- Streams：每次 launch 都要重建 buffer，包含内存分配与信息编码，再发给 GPU。
- Graphs：先编译整个 graph，把分配和编码提前完成，编译产物可被多次 launch 复用。
因此重复启动相同工作时，graphs 几乎总是赢，因为编译开销被摊薄了。作者回忆早年做过的基准测试：对单次使用而言，启动 N 个 kernel 的线性链时两者开销都是线性函数，但 stream 的 y 轴截距为零而斜率更陡。
所属事件:NVIDIA 老兵详解 CUDA Graphs 启动开销低于流式派发(5 条相关)→
「Infra」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- SpaceX 拟接入 8 万座美国基站，博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源：AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23