vLLM 优化 Flint 推理：自定义核融合把每层 kernel 从 22 降到 7

vllm_project · x · 2026-10-22

vLLM 项目宣布与 Recursive 合作，为 Flint 模型做首日推理优化：通过自定义 kernel 与激进算子融合，把每个 MoE 层（batch 1）的 kernel 启动次数从 22 次压缩到 7 次。

配图给出融合方案：Attention 侧 4 个 kernel（Add+RMSNorm、QKV GEMV 融合 Q/K norm 与 RoPE 及 KV-cache 写入、带 sinks 与 split-KV merge 的 decode attention、Output GEMV），MoE 侧 3 个（Add+RMSNorm 融合 router top-6、Gate/up GEMV 融合 shared expert 与 SiLU、Down GEMV 融合 weighted combine），基于 NVFP4、支持最多 8 请求，dense 层 0-1 用 norm 加两个 GEMV 替代 MoE 行。