Amazon SageMaker HyperPod 推理基础设施新功能解析
AWS ML Blog · rss · 2026-07-10
### 推理数据捕获 Amazon SageMaker HyperPod 推出了多层级的推理数据捕获功能，支持在端点、负载均衡器和模型 Pod 三个层级记录请求与响应数据。用户可灵活配置采样比例和加密选项，为模型监控、调试和改进提供深度可见性。 ### 部署与性能优化 - **Hugging Face 集成**：支持直接从 Hugging Face Hub 部署模型，无需预先下载权重到 S3 或 FSx，兼容 vLLM、TGI 等主流运行时，并支持 token 隔离与版本锁定。 - **降低延迟**：支持从节点本地 NVMe 存储加载模型权重，有效减少冷启动延迟，并具备云存储自动回退机制。 - **安全与管理**：自动管理自定义 DNS 记录，提供细粒度的 Pod 级 IAM 权限控制，强化了企业级部署的安全与治理能力。