SageMaker HyperPod上的解耦推理
AWS ML Blog · rss · 2026-07-10
这篇文章介绍了在 SageMaker HyperPod 上实现 Disaggregated Prefill and Decode（DPD） 的方法，用来解决预填充和解码共享 GPU 时的相互干扰问题。
核心思路是把 LLM 推理拆成两个阶段：
- Prefill：计算密集型，处理完整 prompt 并生成 KV cache
- Decode：带宽密集型，逐 token 生成
通过把两者放到不同 GPU 池，并借助 EFA + RDMA 传输 KV cache，可以：
- 独立优化 TTFT 和 ITL
- 减少长上下文请求对其他请求的阻塞
- 更稳定地控制尾延迟
文章还说明了 DPD 适合的场景：长 prompt、高并发、流式响应和混合长短请求；并介绍了其架构组件，包括 vLLM Production Stack router、LMCache、NIXL、libfabric 和 EFA，以及在 HyperPod 上的部署前提与操作步骤。
「Infra」频道最新
- Claude 近半营收来自云市场渠道，占比三年内从 11% 涨至 47% — BenBajarin · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26