同样 64 个算子:嵌套图把 Inductor 代码从 16 个区域并成 2 个
cfregly · x · 2026-10-22
对比 depth-8、seed-0 生成的 Inductor 代码:不开嵌套图是 16 个 wrapper 区域 × 4 个 ATen 算子,开启后是 2 个区域 × 32 个算子,两者代表同样的 64 个算子、处理同样的 1,048,576 个 FP32 元素。配图直观展示了区域合并如何把每次调用的 replay 启动从 16 次压到 2 次。
所属事件:PyTorch 2.14 嵌套图实测:B200 上稳态快 4.5 倍,冷启动多付三成(6 条相关)→
「Infra」频道最新
- 洪堡大学 PACE:4-bit 量化线性注意力状态,免微调降显存 — huberlin · 2026-10-22
- Hugging Face 上架 Kernels 官方教程:一行代码给模型换上预置 GPU 算子 — ariG23498 · 2026-10-22
- NVIDIA 联手沙特 HUMAIN 建最高 84MW 算力,约 2.7 万颗 GPU — HUMAIN · 2026-10-22
- 黄仁勋:能源是 AI 最大瓶颈,现在是投资一切能源形式的时候 — kimmonismus · 2026-10-22
- NVIDIA 发布 Vera Rubin 全栈 agent 硬件,Nemotron 后训练宣称超越前沿模型 — mervenoyann · 2026-10-22
- 梗图:ASML 独扛现代数字基建,微软 Teams 被调侃成威胁行为者 — VoidAsuka · 2026-10-22