AWS 推出 HyperPod Global Inference Gateway:跨区域单端点智能路由
AWS ML Blog · rss · 2026-11-21
AWS 发布 Amazon SageMaker HyperPod Global Inference Gateway:一个 SageMaker 托管网关,跨集群、跨区域统一路由推理请求。
解决的问题:多区域多集群部署时客户端需各自维护大量端点(4 模型×5 集群=20 个端点),峰值时一个区域排队而另一区域 GPU 闲置,故障转移靠人工改配置。
核心能力:
- 单一端点覆盖所有已注册集群,客户端无需感知集群拓扑
- 峰值溢流到同区域或其他区域的空闲集群,把已付费 GPU 用起来
- 集群故障自动 failover,客户端零改动
- SigV4+IAM 认证,流量走 AWS PrivateLink / 骨干网,默认私有
路由机制:网关按四个信号为每个健康集群打分,权重可配(默认 RegionProximity 0.40、QueueDepth 0.25、KVHeadroom 0.20、ErrorRate 0.15),重可靠性场景可将 ErrorRate 权重调至 0.7。
接入方式:每集群一次性开启 spec.globalRouting「发布」,再调用 CreateGlobalInferenceGateway 分组即得单端点;路由舰队、证书校验、健康检查、限流均由 AWS 托管。客户 Bagelcode 在 beta 中实现了跨两区域单端点服务与自动故障转移。
「Infra」频道最新
- Hugging Face 上线 H200 推理端点,每 GPU 每小时仅 5 美元 — lhoestq · 2026-11-21
- JapanFold 在 Tenstorrent 芯片上预测超百万蛋白质结构,支撑 Anthropic 蛋白设计竞赛 — DavidBennett__ · 2026-11-21
- 单台 M5 Ultra 512GB 跑 DeepSeek-V4.1-Flash:解码稳定 101 tok/s — HankYeomans · 2026-11-21
- Keysight Q4 订单激增53%至23.4亿美元,AI 需求仍超供给 — BenBajarin · 2026-11-21
- 美光 CEO:未来五年客户需求超过我们能承诺的供应量 — Beth_Kindig · 2026-11-21
- 2026 WebAI 峰会 25 场演讲上线,每周放出 8 场 — jason_mayes · 2026-11-21