GPU 老兵泼冷水：mega kernel 只在 batch 1 推理占优，图调度仍是主力范式

mike64_t · x · 2026-11-11

GPU 内核工程方向的技术讨论：作者认为对 batch size 1 推理这类特定负载，mega kernel（把整个计算融合为单个大内核）可能是最优解，因为任何 graph 介入都会带来开销；但这一结论不能外推——规模变大尤其是训练场景下不再成立。

他批评社区把「某些场景 mega kernel 更快」夸大为「任何负载写个 mega kernel 都更快」，指出正确立场是：硬件本身有 kernel 调度加速，软件层面不用它、或用错粒度才会付出代价。实践上 CUDA graph 配合协同设计的内核是更优的编程范式。