vLLM 升级 EPD 分离架构,多模态推理 TTFT 更低、单卡吞吐更高

vllm_project · x · 2026-11-11

vLLM 官方宣布其 Encoder/Prefill/Decode（EPD）分离架构升级。多模态推理在语言模型执行前需要经过编码阶段,而该阶段的负载会随媒体大小、模态和请求组合独立波动。EPD 分离将这些阶段拆分为独立部署的 vLLM 实例。

本次改进的核心要点：

元数据-only 请求：下游实例可直接消费远程 embedding,无需重复媒体预处理;DeepSeek V4.1 Flash 的元数据-only EPD 已在 main 分支支持
专用编码器执行：独立的 Model Runner V2 路径、encoder-only CUDA Graph 支持、降低 checkpoint 加载 I/O
远程 embedding 传输：集成 NIXL 与 Mooncake
跨编码器输出复用：通过 Mooncake Store 实现
编排开销降低：与 vLLM Router、SMG、llm-d 集成

相关工作与 DeepSeek 推理部署 Q&A 中描述的独立视觉编码器架构相呼应。核心能力（含 MiMo 与 XPU 支持）已包含在 vLLM v0.32.0 中。

「Infra」频道最新