vLLM 首发 Step-5 Preview 日 0 支持:稀疏 prefill 延迟降 2.2%
vLLM 官方宣布对阶跃星辰 Step-5 Preview 提供发布当天(Day-0)支持。该模型为多模态 MoE,总参数 604B、激活约 31B,支持 1M 上下文,覆盖稀疏注意力、MoE、多 token 预测(MTP)、视觉处理与 Day-0 RL 训练配方,serving 横跨 Blackwell 与 Hopper 硬件。稀疏注意力机制先对历史生成区域做摘要,再由 indexer 打分选区读取,使稀疏 prefill 延迟降低 2.2%。
2026-10-15 ~ 2026-10-15 · 4 条相关
- vLLM 官宣 Step 5 Preview 日 0 支持,横跨 Blackwell 与 Hopper — vllm_project · 2026-10-15
- vLLM 详解 Step 5 Preview 稀疏注意力:先选区域再读历史 — vllm_project · 2026-10-15
- vLLM 实现Step 5 Preview日0支持:稀疏prefill延迟降2.2% — vllm_project · 2026-10-15
- vLLM 首发 Step-5 Preview 支持:1M 上下文 MoE,含 Day-0 RL 训练配方 — vllm_project · 2026-10-15