实测：嵌套 CUDA Graph 让每次调用的 replay 启动从 16 次降到 2 次
cfregly · x · 2026-10-22
在五次被 profile 的调用中，不开嵌套图时每次调用有 16 次 CUDA Graph replay 启动，开启后仅 2 次。嵌套图带来更少的内存碎片、更大的融合区域和更少的 replay 启动次数，这是稳态延迟大幅下降的机制解释。
所属事件:PyTorch 2.14 嵌套图实测：B200 上稳态快 4.5 倍，冷启动多付三成(6 条相关)→
「Infra」频道最新
- 开源模型 token 占比超两成，长文推演其对半导体营收的真实冲击 — dotey · 2026-10-22
- 曝三星西安厂转产 286 层 NAND，SK 海力士大连厂拟升 240 层 — rohanpaul_ai · 2026-10-22
- SGLang 联手 Google 与 Meta 发布 TorchTPU 插件，已在 Meta 生产推理落地 — BanghuaZ · 2026-10-22
- 爆料:单个顶级 RL 环境任务的市场价格已飙至离谱水平 — jia_seed · 2026-10-22
- Cloudflare 工程师称已开始恢复构建，明日发布完整事故复盘 — edgarpavlovsky · 2026-10-22
- Revolut 等欧洲金融机构用 NVIDIA 开源模型自建 AI，成本降四成 — NVIDIA Blog · 2026-10-22