用 Claude 为 8 个开源模型各写一个 megakernel,解码速度最高达 vLLM 的 1.77 倍

joao_gante · x · 2026-11-19

有团队为 8 个开源模型(8B 到 594B)分别让 Claude 编写了专属 megakernel——用一个 GPU kernel 跑完整个解码循环,宣告「一刀切推理引擎时代终结」。

思路是为每个模型定制整体 kernel 而非通用推理引擎,属于推理栈优化方向的激进尝试。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →