vLLM 首发 Step-5 Preview 日 0 支持:稀疏 prefill 延迟降 2.2%

vLLM 官方宣布对阶跃星辰 Step-5 Preview 提供发布当天(Day-0)支持。该模型为多模态 MoE,总参数 604B、激活约 31B,支持 1M 上下文,覆盖稀疏注意力、MoE、多 token 预测(MTP)、视觉处理与 Day-0 RL 训练配方,serving 横跨 Blackwell 与 Hopper 硬件。稀疏注意力机制先对历史生成区域做摘要,再由 indexer 打分选区读取,使稀疏 prefill 延迟降低 2.2%。

2026-10-15 ~ 2026-10-15 · 4 条相关