「何时停止 mega kernel 表演」：CUDA graph 是大内核的严格超集
realJosiahClark · x · 2026-11-10
GPU 工程师对 mega kernel 热潮的尖锐反驳：一个包含协同设计内核的 CUDA graph，能表达单个 mega kernel 能做的所有事的严格超集。他给出具体证据：cuGraphAddBatchMemOpNode（对应 cuStreamWaitValue64）可以在不占用 SM 的情况下实现等待逻辑，而 mega kernel 内部做同步必须烧掉 SM 资源自旋。
另有人补充讨论了 mega kernel 中调用 copy engine、直接写 DMA MMIO 空间的可行性——理论上 device-updatable kernel 存在，但实际不现实。