vLLM 实现Step 5 Preview日0支持：稀疏prefill延迟降2.2%
vllm_project · x · 2026-10-15
vLLM 官方发布 Step 5 Preview 的 day-0 支持，覆盖稀疏注意力、MoE、多 token 预测（MTP）和视觉处理，serving 工作横跨 Blackwell 和 Hopper。
技术架构：稀疏注意力从区域摘要（region summaries）入手——indexer 给摘要打分、选出区域后只对被选中的 token 做注意力，未完成区域留在本地窗口；backbone 结合滑动窗口与稀疏注意力，配合 MoE 与 MTP。
内核优化成果（B300、DEP8、MTP3、FP8 KV、60K token 输入、MegaMoE 路径）：indexer logits 内核延迟降 43%，top-k 内核降 84%，整体 prefill 延迟降 2.2%，并移除了 7 个运行时 JIT warmup、把 chunk 上限设为 4096 token。
所属事件:vLLM 首发 Step-5 Preview 日 0 支持：稀疏 prefill 延迟降 2.2%(4 条相关)→
「Infra」频道最新
- NVIDIA 将亮相 SIGGRAPH Asia 2026，聚焦神经渲染与机器人 — tomaszbednarz · 2026-10-15
- Google TPUv7 首次参测:每美元性能达 GB300 NVL72 的 1.67 倍 — scaling01 · 2026-10-15
- 微软 MAI-Image-2.6 上架 Vercel AI Gateway，一个 Key 调两档模型 — lmoroney · 2026-10-15
- Inworld 开放推理服务:月处理数十万亿 token,按请求设定优先级 — thetripathi58 · 2026-10-15
- 16GB 内存何时能本地跑平 Opus?聊聊端侧 LLM 的现实距离 — bit_freak · 2026-10-15
- vLLM P/D 原型实测:12×GB300 上前缀命中率 91.24% — vllm_project · 2026-10-15