vLLM 官宣 Step 5 Preview 日 0 支持，横跨 Blackwell 与 Hopper
vllm_project · x · 2026-10-15
vLLM 官方宣布对 Step 5 Preview 提供 Day-0（发布当天）支持，覆盖稀疏注意力、MoE、多 token 预测（MTP）与视觉处理，serving 工作横跨 Blackwell 和 Hopper 两代 GPU。
团队的工作横跨稀疏 indexer、FP8 MegaMoE 和缓存传输等模块，并以线程形式附上了各部分如何协同、内核实测结果与验证细节。
所属事件:vLLM 首发 Step-5 Preview 日 0 支持：稀疏 prefill 延迟降 2.2%(4 条相关)→
「Infra」频道最新
- NVIDIA 将亮相 SIGGRAPH Asia 2026，聚焦神经渲染与机器人 — tomaszbednarz · 2026-10-15
- Google TPUv7 首次参测:每美元性能达 GB300 NVL72 的 1.67 倍 — scaling01 · 2026-10-15
- 微软 MAI-Image-2.6 上架 Vercel AI Gateway，一个 Key 调两档模型 — lmoroney · 2026-10-15
- Inworld 开放推理服务:月处理数十万亿 token,按请求设定优先级 — thetripathi58 · 2026-10-15
- 16GB 内存何时能本地跑平 Opus?聊聊端侧 LLM 的现实距离 — bit_freak · 2026-10-15
- vLLM P/D 原型实测:12×GB300 上前缀命中率 91.24% — vllm_project · 2026-10-15