SageMaker 推出跨区域推理路由:单区域 GPU 短缺时自动切换流量
AWS ML Blog · rss · 2026-11-20
AWS 为 Amazon SageMaker AI 推出跨区域推理路由(cross-Region inference routing),解决「一个区域 GPU 容量吃紧、另一区域却有余量」的运维痛点——此前各团队都要自建跨区域切换逻辑。
- 新资源「inference router」:应用只调用一个统一入口,注册多个目标端点(可跨区域、跨账号);本地健康时优先本区域,异常时新请求自动转向其他目的地
- 健康判定基于近期请求的 5xx、限流、超时等信号打分;请求自身错误不计入;恢复后流量数分钟内渐进回流,避免抖动
- 模型未实际执行时路由器会在另一目的地重试一次;超时/500/模型错误不重试
- 每个响应带 routing reason,说明请求去向与原因;健康状态发布到 CloudWatch;阈值由 SageMaker 托管,无需用户调参
- 不创建容量、不复制模型工件,端点部署方式不变
文中给出 Salesforce 跨账号、多模型全球服务的实际案例。
「Infra」频道最新
- Ollama CEO:每月 1000 万开发者用开源模型,企业焦虑已转向数据流向 — ollama · 2026-11-20
- Dario Amodei 首谈 SpaceX 算力合作:质量高,合作愉快 — rohanpaul_ai · 2026-11-20
- 律师用12块2018年V100跑满血DeepSeek-V4.1-Flash,单流184 tok/s — TumbleweedNew6515 · 2026-11-20
- 美国物理 AI 落地边界:私人基建 CAPEX、前沿模型与机器人软件 — ingliguori · 2026-11-20
- Together AI 12 月 15 日直播:用 RL 后训练 Kimi K3.1 完整拆解 — togethercompute · 2026-11-20
- Wedbush 上调英伟达目标价至 293 美元,称领导层风险已计价 — sudoraohacker · 2026-11-20