Salesforce 用 SageMaker 跨区域推理路由解决 30+ 区域容量碎片化
AWS ML Blog · rss · 2026-11-19
AWS ML Blog 详解 Salesforce Agentforce Foundation 团队如何在 30+ 全球区域、数百个 AWS 账户中部署模型服务,并用 SageMaker 跨区域推理路由解决容量碎片化问题。
- 痛点:各区域独立部署导致部分区域实例闲置、另一些耗尽;自建 Internal Gateway 缺乏容量信号、跨区域流量需经 NAT/公网,且有事故级联过载风险。
- 路由器机制:应用调用路由器而非 endpoint,按模型定义 routing target(以 ARN 列出可服务端点,可跨区域/跨账户);优先本区域,基于近期请求结果(5xx、限流、超时)评估目的地健康度,持续出错时约一分钟内开始迁移流量,恢复后缓慢回迁;客户端错误和模型延迟不触发迁移;失败请求在另一目的地自动重试一次。
- Salesforce 集成:路由调用置于 Internal Gateway 出口路径,数据驻留检查保留——带驻留标记的请求固定在本区域路由目标,永不跨边界;将 InvokedRoutedResourceArn 和 RoutingReason 作为一等遥测记录并与 CloudWatch 指标关联。
- 运维细节:网关超时预留跨区域往返时间,且自身不加重试,避免事故中尝试倍增。
「Infra」频道最新
- vLLM 发布 DSpark:Kimi K3.1 Pro 接受长度提升 30%,draft KV 有界 — AccBalanced · 2026-11-19
- 连串科技故障后 Costco 应急品遭抢购,26 台高价发电机 21 台售罄 — harris_edouard · 2026-11-19
- Starlink 手机直连落地蒙古:无信号自动连卫星发短信 — XFreeze · 2026-11-19
- SpaceX 宣布50亿美元亚利桑那算力园区:6GW,配24GWh储能电池 — JOBhakdi · 2026-11-19
- CoreWeave 更正债务利率为 15.5%,分析师追问 Blackwell 偿债方案 — Svwang1 · 2026-11-19
- tinygrad 推出 768GB 显存 tinybox:4 张翻新 MI300X 售价 8.9 万美元 — viksit · 2026-11-19