PyTorch 2.14 开 nested_graph_breaks 实测稳态快 4.53×，B200 微基准

cfregly · x · 2026-10-22

作者在 NVIDIA B200 上用 PyTorch 2.14.1（CUDA 13.0）做了编译器微基准：设置 nestedgraphbreaks=True 后，同样的 64 个算子（1,048,576 个 FP32 元素）稳态中位延迟从 407.57µs 降到 89.94µs，加速 4.53×；配对种子加速比 4.50×–4.58×。机制是 Inductor 区域从 16 个×4 算子合并为 2 个×32 算子，每次调用 CUDA Graph replay 启动从 16 次降到 2 次，减少碎片、扩大融合区域。

代价是冷启动：前 10 次调用总耗时增加 33.2%（2.411s→3.212s），额外开销几乎全在首次调用。作者建议现在就试 nestedgraphbreaks=True，并强调要检查编译器生成代码与 CUDA replay 活动、把冷启动与稳态分开测量。