LMSYS Megakernel 把 Muse Spark 解码提速到 1109 tok/s，2.1 倍于基线
hsu_byron · x · 2026-11-12
LMSYS 发布技术博客：用 CUDA C++/PTX 从零为 Muse Spark Open 实现整层（MoE+Attention）megakernel，在 8×GB300 上将解码从 517 提到 1109 tok/s（2.1 倍基线），每层仅一次 kernel launch，每步解码 launch 次数从 1450 降到 97。
关键技术点：
- 预取权重进 shared memory 和 L2，让所有内存加载与其他工作重叠，实现极致 latency hiding。
- 预热 instruction cache：Nvidia 的 instruction cache 让大 kernel 很难写——kernel 会因取自己的代码而卡顿，他们同时在多级调优指令与数据缓存。
- 12 个 warp 分工不同角色；部分下一操作的 warp 可在前一操作结束前启动，重新定义 GPU 利用率。
- 用数据本身作为跨 GPU 通信的就绪信号；融合 draft 模型使 speculative decoding 提速 2.6 倍。
博客含实测时间线、CUDA/PTX 示例与停在单 kernel launch 的权衡分析，后续计划支持更大 batch、迈向「GPU 操作系统」。
所属事件:LMSYS 用 megakernel 将 Muse Spark 解码提速至 1109 tok/s(2 条相关)→
「Infra」频道最新
- Cloudflare 演讲：用 Jev 等超快模型替换 agent 循环部分调用可大幅提速 — michellechen · 2026-11-12
- Cloudflare 补齐最后一块拼图：自训 Clef、Clairic 模型并自建推理 — michellechen · 2026-11-12
- Cloudflare 借 JEV 组件成「neolab」，自训 Clef 与 Clairic 上线自家推理 — michellechen · 2026-11-12
- Sixth Street CEO：约 2000 亿美元芯片积压在仓库，数据中心还没建好 — SumitGup · 2026-11-12
- AWS CEO：太空数据中心至少还需 10-20 年，经济上很难成立 — rohanpaul_ai · 2026-11-12
- CoreWeave Database 正式可用：托管 PostgreSQL 搬进 GPU 集群旁 — _ScottCondron · 2026-11-12