vLLM 首发 Step-5 Preview 支持:1M 上下文 MoE,含 Day-0 RL 训练配方

vllm_project · x · 2026-10-15

vLLM 官方宣布对阶跃星辰 Step-5 Preview 的完整支持。要点：

模型本身：多模态 MoE，总参数 604B/激活约 31B（604B MoE、1,048,576 ctx），采用混合稀疏/滑动窗口注意力，支持 1M token 上下文与 MTP（multi-token prediction），提供 NVFP4 量化 checkpoint。
部署：官方 Docker 镜像 vllm/vllm-openai:step-5-preview；FP8 版单机 4×B300 即可跑，支持 TP4/TEP4/DEP4 三种并行布局（Blackwell 上 TEP/DEP 走 MegaMoE），H200 需 8 卡；1M 上下文含输入输出，显存不足需调小 --max-model-len。
P/D 分离原型：在 12×GB300 上用 FP8+NIXL+384GiB 缓存连接 DEP4 prefill 与 DEP8 decode，prefix 命中 91.24%（514,784 tokens），两轮 1000 请求 OCR 测试零报错，成功率 90.4%/89.4%。
Day-0 RL 训练：与 verl 集成，FP8 文本模型可用 GRPO + LoRA 在 FSDP2 上训练、vLLM 做 rollout，含 R3 routing replay 与 adapter-only 权重同步；PR 目前为 draft。

「Infra」频道最新