AWS 推出多节点 Ray LLM 容器，演示 EKS 上预填充/解码分离推理

AWS ML Blog · rss · 2026-10-12

AWS ML Blog 发布教程，介绍如何用多节点 Ray LLM Deep Learning Containers（DLC）在 Amazon EKS 上把一个大模型部署到两个 GPU 节点，实现预填充（prefill）与解码（decode）分离推理，对外暴露单一 OpenAI 兼容端点。

要点：

为什么做 PD 分离：prefill 是计算密集型、decode 受内存带宽约束，共用一块 GPU 时长提示会阻塞正在生成的请求；分离后各阶段可独立选择硬件与扩缩容，适合 RAG、文档摘要、智能体等长上下文负载。
DLC 打包内容：内置 vLLM 推理引擎、Ray Serve HTTP 服务层、NIXL（用于节点间 KV cache 传输）和 EFA 通信栈（libfabric + aws-ofi-nccl），CUDA/框架版本经过联合验证，无版本漂移。
架构：VPC 私有子网内的 EKS 集群，CPU 系统节点（m7i.xlarge）跑 Ray head 与 KubeRay operator，两台 g6.8xlarge GPU 节点分别跑 prefill 与 decode；KV cache 经 NIXL 的 libfabric 后端走 EFA 传输，节点组须固定在同一可用区（EFA 不能跨 AZ）。
配置极简：借助 buildpdopenaiapp 辅助函数，整个服务应用就是一段 RayService YAML，指定 prefillconfig/decodeconfig 与 NixlConnector 的 kvtransfer 配置即可，无需写 handler 或自定义镜像。

完整代码在配套仓库中，需要具备 AWS 账号、两台 g6.8xlarge 的配额、AWS CLI、kubectl、eksctl、helm 等环境。

「Infra」频道最新