LMSYS megakernel 把解码推到 1,109 tokens/s,启动数从 1450 降到 97
ying11231 · x · 2026-11-12
LMSYS 发布技术博客,介绍为 Muse Spark Open 从零用 CUDA C++/PTX 编写的 megakernel,在 8×GB300(Blackwell)上把解码速度从 517 提升到 1,109 tokens/s,配合 SGLang 与投机解码。
核心思路
- 每层(attention+MoE)作为单个 megakernel 运行,每层只启动一次 kernel;每步解码的 kernel 启动次数从 1,450 降到 97
- 极致延迟隐藏:预取权重到 shared memory 和 L2、预热指令缓存避免大 kernel 取自身代码时停顿、用数据本身作为跨 GPU 通信就绪信号
- 全新的张量并行方案;12 个 warp 分工不同角色,计算、访存与通信全部重叠
- 投机解码的 draft model 被融合进 megakernel,drafting 提速 2.6×
博客附实测时间线、CUDA/PTX 代码示例,以及「为何每层止步于一个 megakernel」的权衡分析,并预告更大 batch 与「GPU 操作系统」方向。
所属事件:LMSYS 用 megakernel 将 Muse Spark 解码提速至 1109 tok/s(2 条相关)→
「Infra」频道最新
- Igor 猜测:Claude 成本大头或是跑构建工具等杂活算力 — IgorBrigadir · 2026-11-12
- ONNX Int8 AVX512 量化让 CPU 推理 34ms 对 90ms，快 2.6 倍 — wavefnx · 2026-11-12
- a16z：H100 租金比直线折旧线高 54%，老 GPU 远未贬值 — a16z · 2026-11-12
- Apple 用离线训练的小网络路由 RAG 查询,换更快更准检索 — petrusenko_max · 2026-11-12
- 开发者晒 AMD Strix Halo 跑通 ONNX：本地编译匹配 migraphx ABI — wavefnx · 2026-11-12
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12