Hazy lab 反转一年:今年我们删除了 Megakernel,弃用全模型融合方案
simran_s_arora · x · 2026-11-17
Hazy lab(S4 与 FlashAttention 研究传统的发源地)的 Dylan Lim 等人发布复盘:一年前他们参与推出了首批 AI megakernel,被广泛采用;如今结论是——全模型 megakernel 这个抽象过度复杂,并非总是理想的优化目标。
团队撰写了长文回顾这段历程,深入对比两种 ML 优化范式的取舍:Torch Compile 与 Megakernel,并讨论如何突破 megakernel 的局限(「今年我们删除了它们」)。作者还用「Look Ma, No Bubbles」的梗呼应实验室一贯两边下注的传统——从 S4(无 attention)到 FlashAttention。
「Infra」频道最新
- 明尼阿波利斯商办楼改数据中心,估值从4900万飙到2.8亿美元 — DeGeneralDimes · 2026-11-17
- Dylan Patel:若黄仁勋离任 Nvidia 将陷入困境,马斯克数据中心用水不及三家 In-N-Out — elonmusk · 2026-11-17
- vLLM 团队回应算力供需之争:架构与软件优化可实现超线性收益 — woosuk_k · 2026-11-17
- 前 Apple 工程师揭秘 Siri 提速:冷启动占比从 25% 降到 4% — jdluk87 · 2026-11-17
- 英伟达推 DGX Spark HPC 开发者套件:4 台 Spark 集群共 4 PFLOPS FP4 — AIFlow_ML · 2026-11-17
- DeepSeek-V4.1-Flash 跑上 Vera Rubin:agent 自主搞定跨机 Engram 表共享 — woosuk_k · 2026-11-17