NVIDIA 详解 EPD 分离架构:多模态推理首字延迟最高提速 5 倍
NVIDIAAI · x · 2026-09-11
NVIDIA 技术博客介绍在 Dynamo 中实现 Encode-Prefill-Decode(EPD)分离,把视觉编码从 LLM 的 prefill 与 decode 阶段拆开,减少资源争抢。
关键数据:
- 图像密集、短中等输出、量化 MoE 模型的场景下,首字延迟(TTFT)最高提升 5 倍,端到端响应最高提升 7 倍
- 混合文本与多模态流量中,EPD 消除队头阻塞后,文本请求平均 TTFT 降低 42.2%,图像请求降低 30.8%
- 三种部署拓扑:聚合部署、编码器与 prefill/decode 共置 GPU、编码器独立部署在低成本 GPU 层并通过 NIXL 传输
- LLM 权重量化到 NVFP4、视觉编码器保持 BF16 时,共置 EPD 的 goodput 从 1.78x 升至 2.64x
收益取决于输入媒体负载、输出长度、模型规模精度与流量配比;decode 主导延迟或大型稠密模型时会缩小。博客附 Dynamo GitHub 复现指南,并建议配合并行媒体解码、embedding 缓存与多模态 KV 路由。
「Infra」频道最新
- INT21 用 AI agent 群 1 小时写出 Rust 推理引擎，跑赢 SGLang-Omni — bingxu_ · 2026-10-26
- Anthropic S-1 曝算力承诺:合同总额 4345 亿美元,SpaceX 最大单一对手方 — _AustinCalvert_ · 2026-10-26
- 大厂全做 AI 沙箱,Modal 与 Daytona 靠盒外一层仍居增速榜前列 — FinanceYF5 · 2026-10-26
- Ant 招股书印证「算力是可互换商品」论:单一池动态调度 — BenBajarin · 2026-10-26
- SLC NAND 每 1% 份额增长需多 2% 晶圆产能,闪存或复刻 HBM 行情 — toptickcrypto · 2026-10-26
- NVIDIA Vera Rubin 训 10T 模型只需 1.6 万卡，较 GB200 省 75% GPU — teortaxesTex · 2026-10-26