AWS 推出 HyperPod Global Inference Gateway:跨区域单端点智能路由

AWS ML Blog · rss · 2026-11-21

AWS 发布 Amazon SageMaker HyperPod Global Inference Gateway:一个 SageMaker 托管网关,跨集群、跨区域统一路由推理请求。

解决的问题:多区域多集群部署时客户端需各自维护大量端点(4 模型×5 集群=20 个端点),峰值时一个区域排队而另一区域 GPU 闲置,故障转移靠人工改配置。

核心能力:

路由机制:网关按四个信号为每个健康集群打分,权重可配(默认 RegionProximity 0.40、QueueDepth 0.25、KVHeadroom 0.20、ErrorRate 0.15),重可靠性场景可将 ErrorRate 权重调至 0.7。

接入方式:每集群一次性开启 spec.globalRouting「发布」,再调用 CreateGlobalInferenceGateway 分组即得单端点;路由舰队、证书校验、健康检查、限流均由 AWS 托管。客户 Bagelcode 在 beta 中实现了跨两区域单端点服务与自动故障转移。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →