Deepgram 将 Nova-3 语音模型移植 Trainium2，每美元音频处理量提升 11–70%
AWS ML Blog · rss · 2026-10-20
AWS ML Blog 详述 Deepgram 与 AWS 合作将其 Nova-3 语音转文字模型移植到 Trainium2 的完整推理优化过程。Deepgram 年处理音频 token 达千万亿级，服务超 20 万开发者和 1400 家组织。
- 移植：从标准 PyTorch 出发，用 TorchNeuron + torch.compile 将编码器/解码器编译为静态图，全程无 CPU 回退，WER 保持基准水平
- 内核调优：用 NKILib 融合内核起步，经 Neuron Explorer 剖析后手写替换内核：FFN 内核延迟降 2 倍、depthwise conv1d 提速 1.5 倍、自研 conv2d 内核解锁 batch>32 并在卷积模块上达 50 倍提升
- Rust 运行时：服务路径完全去除 Python，用 work-stealing 队列驱动每设备 8 个模型副本（DP8），对比 Python 多进程基线再获 7.5% 吞吐提升
- 成本：离线批处理负载下，单台 trn2.3xlarge 跑 8 副本，每美元处理音频量比原有方案多 11–70%
对自托管在 SageMaker AI VPC 中的客户同样适用。
「Infra」频道最新
- 新论文揭示内层优化器如何决定 DiLoCo 分布式训练的副本扩展 — kastnerkyle · 2026-10-20
- Together 推出后训练服务：RL 与 SFT 两种方式定制专属模型 — togethercompute · 2026-10-20
- 曝梁文锋本想自研算力芯片，被华为以产能稀缺说服合作 — teortaxesTex · 2026-10-20
- TwelveLabs Pegasus 1.5 上线 Bedrock：2小时视频转结构化时间戳 JSON — AWS ML Blog · 2026-10-20
- NVIDIA Ian Buck 谈 AI 工厂如何配合电网错峰调度算力 — nvidia · 2026-10-20
- p99 容器冷启动延迟降 63%,Cloud Run 服务日省 19 小时算力 — DanielLockyer · 2026-10-20