AWS 教程:用 SageMaker JumpStart 一键部署模型并跑可复现性能测试
AWS ML Blog · rss · 2026-10-14
AWS ML Blog 发布实操教程,展示如何用 SageMaker JumpStart 完成模型选型测试闭环:
- 发现与部署:通过 listjumpstartmodels 按任务/名称过滤模型目录,或用 Model Hub UI 浏览;用 ModelBuilder.fromjumpstartconfig 按 JumpStart 推荐实例类型一键部署,新支持从 Hugging Face 发现到 SageMaker 部署的深度链接直达。
- 性能测试:用预置示例 payload 调用端点,测量延迟、估算输出词数和单词生成速率,脚本可复用。
- 清理:测试完删除端点控制成本。
文中以 Qwen3.5-27B VLM 为例给出完整代码,并提示部署时间随模型、实例类型、配额和区域而异;部分模型需接受 EULA。
「Infra」频道最新
- Applied Materials：光刻极限逼近，WFE 迎结构性上行周期 — BenBajarin · 2026-10-14
- NVIDIA Nemotron 3.5 Bolt 74B 将发：2-bit 量化塞进 24GB 显存 — CulturalKing5623 · 2026-10-14
- 播客解读 Marvell 分析师日、OpenAI 营收传闻与 20-30GW 电网瓶颈 — BenBajarin · 2026-10-14
- ASML 订单强劲,Q4 销售指引超预期,缓解 AI 算力退潮担忧 — tartoran · 2026-10-14
- vLLM 联动 Hugging Face 直播：投机解码加速本地 LLM 实践 — mervenoyann · 2026-10-14
- Modal 年化收入破 10 亿美元,5 个月用量翻三倍并融资 7.5 亿美元 D 轮 — josh_wills · 2026-10-14