工程师实测：GLM-5.2 decode 层优化中 Megakernel 为何输给 CUDA Graph+PDL
青稞AI · wechat · 2026-10-09
作者分享在 B300 上优化 GLM-5.2-FP8 decode 阶段 Indexer 层计算的一手复盘：原始约 30 个短 kernel 耗时约 80us，经 kernel fusion 降到 61.631us；自研 Megakernel 方案 MegaRTP 估算 39.601us；最终用 CUDA Graph + Multi-stream + PDL（CMP）做到 36.992us，反超 Megakernel。
- Fusion 后单流执行平均 SM 利用率上限仅 43.7%，瓶颈在串行调度而非 launch 开销（bubble 仅占约 1%）
- Multi-stream 并行无依赖分支（61.6→44.4us），PDL 让 consumer 提前进场做 prologue 和权重预取（→36.99us）；PDL 收益取决于依赖边能提前做多少有效工作，纯提前进场通常不到 1us
- Megakernel 输在三点：无法安全配对 2-CTA GEMM、全局 counter 轮询在 HBM 高压下延迟可达 4000 cycle、激进预取导致带宽争抢
- 结论（「暴论」）：Megakernel 真正的额外价值在 tile 级依赖与跨 instruction 流水，只有像 MegaMoE 那样有大量跨 wave 细粒度依赖的 workload 才能兑现；很多 Megakernel 工作集中在 batch=1，是因为固定收益占比大、适合发帖，而非语义限制
全文附 Stanford Megakernels、Mirage、TileRT 等相关工作分析，是推理 kernel 工程的高质量参考。
「Infra」频道最新
- Brave Leo 上线端到端加密对话：TEE 内运行 GLM 5.3 Flash — bgmshana · 2026-10-23
- 算力墙逼近:a16z 论证专用芯片为何将复兴,Dennard scaling 已终结 — emax · 2026-10-23
- 华尔街接管 AI 基建融资,VC 们即将领教 PIK 利息的厉害 — matt_slotnick · 2026-10-23
- Clustered launch 竟跑出 128 个 block:一个 CUDA 隐形坑 — mike64_t · 2026-10-23
- Daniel Gross 悬赏 10 万美元征兆谁能让 Muse Spark 跑得最快 — danielgross · 2026-10-23
- 老牌投资人爆料:SpaceX 算力年入 250 亿美元,Anthropic 与 Google 是大客户 — elonmusk · 2026-10-23