Megakernel 宣传 vs 现实:大量收益被过度设计,实际多为等待栅栏
simran_s_arora · x · 2026-11-17
Dylan Lin 的 thread 解构 megakernel 的真实收益:整模型融合进单一 kernel 时所有算子共享同一资源,这对现代架构并不最优——例如 KimiK3 的 KDA 与 MLA 指令各自在不同 ctagroup 模式下表现最佳,而 PTX 禁止把两种模式混进一个 kernel,导致 megakernel 无法让两者都以最优结构运行。
更关键的发现是许多 megakernel 的收益属于过度工程:launch overhead 等价于 kernel 内 grid 同步开销、计算重叠罕见、分页内存预加载只占 Llama 1B 端到端结果的 3%。配图「What's advertised vs Reality」的 kernel 时间线显示,现实中大量时间消耗在「waiting on a barrier」(等待栅栏同步)上。
「Infra」频道最新
- NVIDIA 发布指南:双 DGX Station 本地部署 GLM-5.3 — vllm_project · 2026-11-17
- Torch Compile 被低估:默认 kernel 加 CUDA Graphs 与 PDL 达 megakernel 98% — simran_s_arora · 2026-11-17
- Baseten 实测 DeepSeek v4.1 Flash:Vera Rubin 上跑出 2500 tok/s — baseten · 2026-11-17
- ARK 报告:黄仁勋卸任英伟达 CEO,供应链与生态或受冲击 — downingARK · 2026-11-17
- 拆解 Nvidia 循环融资:1700 亿美元销售额仅 350 亿资金未落定 — tengyanAI · 2026-11-17
- NVIDIA 发布 DGX Spark 四节点开发套件:桌面上跑 700B 参数模型 — NVIDIA Blog · 2026-11-17