LMSYS 用 megakernel 将 Muse Spark 解码提速至 1109 tok/s

LMSYS 发布技术博客，介绍用 CUDA C++/PTX 从零为 Muse Spark Open 编写的整层（MoE+Attention）megakernel。在 8×GB300（Blackwell）硬件上，该方案将解码速度提升至 1109 tokens/s，达到基线的 2.1 倍，同时将内核启动次数从 1450 大幅降至 97，显著优化了大模型推理效率。

2026-11-12 ~ 2026-11-12 · 2 条相关

• LMSYS megakernel 把解码推到 1,109 tokens/s,启动数从 1450 降到 97 — ying11231 · 2026-11-12
• LMSYS Megakernel 把 Muse Spark 解码提速到 1109 tok/s，2.1 倍于基线 — hsu_byron · 2026-11-12