SageMaker HyperPod上的解耦推理
AWS ML Blog · rss · 2026-07-10
这篇文章介绍了在 **SageMaker HyperPod** 上实现 **Disaggregated Prefill and Decode（DPD）** 的方法，用来解决预填充和解码共享 GPU 时的相互干扰问题。 核心思路是把 LLM 推理拆成两个阶段： - **Prefill**：计算密集型，处理完整 prompt 并生成 KV cache - **Decode**：带宽密集型，逐 token 生成 通过把两者放到不同 GPU 池，并借助 **EFA + RDMA** 传输 KV cache，可以： - 独立优化 **TTFT** 和 **ITL** - 减少长上下文请求对其他请求的阻塞 - 更稳定地控制尾延迟 文章还说明了 DPD 适合的场景：长 prompt、高并发、流式响应和混合长短请求；并介绍了其架构组件，包括 vLLM Production Stack router、LMCache、NIXL、libfabric 和 EFA，以及在 HyperPod 上的部署前提与操作步骤。