Megakernel 宣传 vs 现实:大量收益被过度设计,实际多为等待栅栏

simran_s_arora · x · 2026-11-17

Dylan Lin 的 thread 解构 megakernel 的真实收益:整模型融合进单一 kernel 时所有算子共享同一资源,这对现代架构并不最优——例如 KimiK3 的 KDA 与 MLA 指令各自在不同 ctagroup 模式下表现最佳,而 PTX 禁止把两种模式混进一个 kernel,导致 megakernel 无法让两者都以最优结构运行。

更关键的发现是许多 megakernel 的收益属于过度工程:launch overhead 等价于 kernel 内 grid 同步开销、计算重叠罕见、分页内存预加载只占 Llama 1B 端到端结果的 3%。配图「What's advertised vs Reality」的 kernel 时间线显示,现实中大量时间消耗在「waiting on a barrier」(等待栅栏同步)上。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →