PyTorch 嵌套图冷启动代价实测:前 10 次调用总耗时增加 33.2%
cfregly · x · 2026-10-22
作者补充测量了开启 nestedgraphbreaks 后的冷启动开销:前 10 次同步编译调用总耗时从 2.411s 增至 3.212s(+33.2%),且几乎所有额外耗时都集中在第 1 次调用(约多 0.79–0.88s),第 2–10 次反而更快。结论是这是「稳态收益 + 已披露的冷启动代价」的权衡,部署时应把首次调用与重复执行分开测量。
所属事件:PyTorch 2.14 嵌套图实测:B200 上稳态快 4.5 倍,冷启动多付三成(6 条相关)→
「Infra」频道最新
- 洪堡大学 PACE:4-bit 量化线性注意力状态,免微调降显存 — huberlin · 2026-10-22
- Hugging Face 上架 Kernels 官方教程:一行代码给模型换上预置 GPU 算子 — ariG23498 · 2026-10-22
- NVIDIA 联手沙特 HUMAIN 建最高 84MW 算力,约 2.7 万颗 GPU — HUMAIN · 2026-10-22
- 黄仁勋:能源是 AI 最大瓶颈,现在是投资一切能源形式的时候 — kimmonismus · 2026-10-22
- NVIDIA 发布 Vera Rubin 全栈 agent 硬件,Nemotron 后训练宣称超越前沿模型 — mervenoyann · 2026-10-22
- 梗图:ASML 独扛现代数字基建,微软 Teams 被调侃成威胁行为者 — VoidAsuka · 2026-10-22