vLLM Day-0 支持阶跃 Step 5 Preview：稀疏注意力与 MoE 全覆盖

vLLM 项目于 10 月 15 日宣布对阶跃星辰 Step 5 Preview 提供发布当天（Day-0）的完整推理支持。该模型是总参数 604B、激活约 31B 的多模态 MoE，支持 1,048,576（1M）token 上下文窗口、混合稀疏/滑动窗口注意力、多 token 预测（MTP）与视觉处理，服务端适配横跨 NVIDIA Blackwell 与 Hopper 两代 GPU。vLLM 还同步公布了多项工程实测数据，展示了对该模型的深度优化。

已确认

• Day-0 支持范围：覆盖稀疏注意力、MoE、MTP 和视觉能力，serving 方案同时适配 Blackwell 与 Hopper 硬件；官方帖还提到包含 Day-0 RL 训练配方。
• 稀疏注意力机制：模型先对历史生成区域摘要（region summaries），indexer 对摘要打分并选出相关区域，再仅对被选中的 token 做注意力计算，从而降低长上下文计算开销；稀疏 prefill 路径整体延迟下降约 2.2%。
• 内核优化（B300、DEP8、MTP3、FP8 KV、60K token 输入、MegaMoE 路径实测）：Indexer logits 内核与 Top-k 内核延迟最高降低 84%。
• MTP3 精度验证（B300 DEP8 对比基线）：AIME25 从 0.9500 提升至 0.9667；GPQA 从 0.9268 微降至 0.9242；OCRBench 约 0.89x，多轮测试零错误。
• P/D 分离原型：在 12 张 GB300 上以 DEP4 prefill 连接 DEP8 decode，采用 FP8、NIXL 传输和 384 GiB 的 MooncakeStore 缓存，前缀命中率达 91.24%，OCR 两轮零错误。

为什么重要

• Day-0 支持意味着 Step 5 Preview 发布当天即可在生产级推理框架上部署，大幅缩短新模型落地周期。
• 稀疏注意力 + MoE + MTP 的组合在超长上下文（1M token）场景下兼顾质量与效率，vLLM 给出的内核级优化（延迟最高降 84%）与 P/D 分离架构（前缀命中率 91.24%）为同类模型的高吞吐部署提供了可复用范式。
• MTP3 在 AIME25 上提升且多基准零错误，说明投机式多 token 预测路径在精度上可保持稳定。

2026-10-15 ~ 2026-10-15 · 12 条相关

• vLLM 官宣 Step 5 Preview 日 0 支持，横跨 Blackwell 与 Hopper — vllm_project · 2026-10-15
• vLLM 详解 Step 5 Preview 稀疏注意力：先选区域再读历史 — vllm_project · 2026-10-15
• vLLM 实现Step 5 Preview日0支持：稀疏prefill延迟降2.2% — vllm_project · 2026-10-15
• 【源头】vLLM MTP3 验证:B300 上 AIME25 升至 0.9667 且零错误 — vllm_project · 2026-10-15
• 【源头】vLLM P/D 原型实测:12×GB300 上前缀命中率 91.24% — vllm_project · 2026-10-15
• vLLM 首发 Step-5 Preview 支持:1M 上下文 MoE,含 Day-0 RL 训练配方 — vllm_project · 2026-10-15
• 【源头】vLLM 为 Step 5 Preview 提供首日支持:稀疏注意力+MoE 跑通 Blackwell/Hopper — vllm_project · 2026-10-15
• vLLM 优化 Step 5 稀疏预填充：Top-k 内核延迟降 84% — vllm_project · 2026-10-15
• vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15

另有 3 条近重复转述:vllm_project · vllm_project · vllm_project