GPU kernel 原理与优化路径:torch.compile 融合算子 vs 手写定制 kernel

ariG23498 · x · 2026-10-31

作者回顾了当年帮到自己的 PyTorch GPU 优化科普:模型在 GPU 上的实际计算通过 kernel(针对硬件的低层函数)执行。profile 模型会看到一连串 kernel 启动,而两次启动之间 GPU 可能空转等待,核心优化目标就是消除这些空隙、让 GPU 满载。

文中给出两条主要路径:一是 torch.compile,把多个操作融合成更少的 kernel,降低开销提升利用率;二是针对特定工作负载手写定制 kernel(如优化的 attention 或融合算子),后者更灵活但成本更高。适合想入门 GPU 性能优化的开发者。