Hazy lab 反转一年:今年我们删除了 Megakernel,弃用全模型融合方案

simran_s_arora · x · 2026-11-17

Hazy lab(S4 与 FlashAttention 研究传统的发源地)的 Dylan Lim 等人发布复盘:一年前他们参与推出了首批 AI megakernel,被广泛采用;如今结论是——全模型 megakernel 这个抽象过度复杂,并非总是理想的优化目标。

团队撰写了长文回顾这段历程,深入对比两种 ML 优化范式的取舍:Torch Compile 与 Megakernel,并讨论如何突破 megakernel 的局限(「今年我们删除了它们」)。作者还用「Look Ma, No Bubbles」的梗呼应实验室一贯两边下注的传统——从 S4(无 attention)到 FlashAttention。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →