vLLM 升级 EPD 分离架构，多模态推理 P90 TTFT 最高降 47%

vLLM 官方宣布 Encoder/Prefill/Decode（EPD）分离架构升级，针对多模态负载各阶段不均匀扩展的问题，让编码、预填充和解码三个阶段独立扩缩容，无需为更多图像而扩容整个语言模型层。结果显示多模态推理首字延迟更低、单卡吞吐更高，多页文档基准的 P90 TTFT 降低 44%-47%。

2026-11-11 ~ 2026-11-11 · 2 条相关