vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84%

vllm_project · x · 2026-10-15

vLLM 公布 Step 5 Preview 的 MTP3(3-token 多 token 预测)在 B300 DEP8 上与基线的对比:AIME25 从 0.9500 提升至 0.9667,GPQA(0.9268→0.9242)与 OCRBench(0.896→0.895)基本持平,两轮验证零请求错误。项目方强调这只是测试构建的结果,不代表最终发布版验证完成,小幅分数差异也不构成模型质量的普遍提升。

配套的稀疏 prefill 路径优化:在 MTP3、FP8 KV、60K token 输入和 MegaMoE 路径下,indexer logits kernel 延迟降低 43%,top-k kernel 降低 84%,整体 prefill 延迟降低约 2.2%,同时移除了 7 次运行时 JIT 预热并将 chunk 上限设为 4096 token。