同样 64 个算子:嵌套图把 Inductor 代码从 16 个区域并成 2 个

cfregly · x · 2026-10-22

对比 depth-8、seed-0 生成的 Inductor 代码:不开嵌套图是 16 个 wrapper 区域 × 4 个 ATen 算子,开启后是 2 个区域 × 32 个算子,两者代表同样的 64 个算子、处理同样的 1,048,576 个 FP32 元素。配图直观展示了区域合并如何把每次调用的 replay 启动从 16 次压到 2 次。

所属事件:PyTorch 2.14 嵌套图实测:B200 上稳态快 4.5 倍,冷启动多付三成(6 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →