vLLM 优化 Step 5 稀疏预填充：Top-k 内核延迟降 84%
vllm_project · x · 2026-10-15
vLLM 团队公布 Step 5 Preview 稀疏注意力路径的内核优化成果（B300、DEP8、MTP3、FP8 KV、60K token 输入、MegaMoE 路径实测）：
- Indexer logits 内核：延迟降低 43%
- Top-k 内核：延迟降低 84%
- 整体 prefill：延迟降低 2.2%（各阶段单独归一化，不可相加）
同时移除了 7 次运行时 JIT 预热，并将 chunk 上限设为 4096 token。作者提醒：单个内核的大幅提速对整体 prefill 的贡献有限，各阶段收益不具可加性。
所属事件:vLLM Day-0 支持阶跃 Step 5 Preview：稀疏注意力与 MoE 全覆盖(12 条相关)→
「Infra」频道最新
- 迁回 1PB 数据上本地成本惊人，AI 训练促云回迁潮 — DavidLinthicum · 2026-10-15
- FP8+DSpark 叠加优化 Nemotron 3.5 Super VL，H100 上近 2 倍提速 — vllm_project · 2026-10-15
- 100k 长上下文输出 630 tokens/s,Nemotron 3.5 Super VL 刷新实测速度纪录 — ArtificialAnlys · 2026-10-15
- vLLM 首发支持 Nemotron 3.5 Super VL,单 GB200 跑 NVFP4 — vllm_project · 2026-10-15
- vLLM Day-0 支持 Nemotron 3.5 Super VL,BF16 与 NVFP4 双格式 — vllm_project · 2026-10-15
- Nemotron 3.5 Super VL 架构:Mamba-Transformer 混合 MoE 加视觉编码器 — vllm_project · 2026-10-15