vLLM 升级 EPD 分离架构:多页文档基准 P90 TTFT 降低 44-47%
vllm_project · x · 2026-11-11
vLLM 发布 EPD(编码-预填充-解码分离)架构升级,针对多模态负载各阶段不均匀扩展的问题,让编码、预填充、解码三个阶段独立扩缩容,不必为更多图像而扩容整个语言模型层。
关键数据(DeepSeek V4.1 Flash 多页文档基准,并发 64-128):
- P90 TTFT 降低 44-47%
- 每卡 token 吞吐提升 6.6-9.5%(计入所有编码器 GPU)
工程细节(官方博客):
- 元数据请求避免重复预处理
- Mooncake/NIXL embedding 传输
- 跨编码器缓存
- 与 vLLM Router、SMG、llm-d 集成,实现编码器与语言模型实例独立扩缩
DeepInfer 的 EPD 分离部署也验证了按阶段灵活分配资源的价值。
所属事件:vLLM 升级 EPD 分离架构，多模态推理 P90 TTFT 最高降 47%(2 条相关)→
「Infra」频道最新
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- Nvidia 供应承诺单季从 1190 亿飙至 2790 亿美元，锁死 2027-28 显存 — tengyanAI · 2026-11-11
- 独立研究者新优化器：24GB 显存可训 27B 模型，权重仅需 1.6bit — oguzeldereli · 2026-11-11
- 英伟达扩大与 Meta 的 Muse 合作,将向 Meta 投资 30 亿美元 — armand_ruiz · 2026-11-11
- 网友算账质疑 Anthropic:Opus 5.5 十亿美元成本大头不在算力 — teortaxesTex · 2026-11-11