AssemblyAI 用 EC2 Spot 混合 GPU 舰队做语音推理，成本省 70%
AWS ML Blog · rss · 2026-11-14
AWS ML Blog 详解 AssemblyAI 如何在其语音转文字推理平台上用 Amazon EC2 Spot 实例实现成本优化，相比按需实例节省 70% 推理算力成本，同时平台算力需求同比增长近 4 倍仍守住 SLA。
架构四大支柱：
- ECS 容量提供商混合 Spot 与按需实例：按需作常驻基线，Spot 承接峰值
- 多 GPU 实例族分散 Spot 风险：横跨 g4dn（T4）、g5（A10G）、g6（L4）三个实例族，扩大 Spot 容量池，配合 price-capacity optimized 分配策略降低中断概率
- 基于 SQS 队列的重试机制：Spot 收到 2 分钟中断通知后，能在窗口内完成的任务继续跑完，跑不完的任务回队列由其他健康 GPU 实例接手；重试耗尽的进入死信队列
- 多区域部署满足数据驻留合规：美西与欧洲区域各自独立跑全套架构，满足医疗/金融/法律客户音频不出境的要求
其他细节：自建 AMI 约 2 分钟内完成模型与容器镜像装载以缩短恢复时间；单个 GPU 同时只跑一个推理模型，整体规模达数千实例。
「Infra」频道最新
- Marvell 将在 SC26 展示光互联共享内存模块：跨机柜延迟低于 350ns — zephyr_z9 · 2026-11-14
- 微软全球宕机 12 小时，日本股市被迫切回传真机 — gleech · 2026-11-14
- 黄仁勋辞职风暴后，专家解析 Nvidia 乱局与 AMD 谁能接棒 — chrismattmann · 2026-11-14
- 伦敦 AI 验证圈升温:用密码学证明模型推理来源 — DavideCrapis · 2026-11-14
- 「这是安然 2.0」：Nvidia 被指自 financing 需求，2000 亿美元 GPU 闲置在库 — churchkey · 2026-11-14
- 网友发现 Megaspeed 仍挂在 Nvidia 官网云合作伙伴名单上 — bigdata · 2026-11-14