Baseten 优化 Qwen3-ASR：吞吐提升 7 倍，1 小时音频 5 秒转完
baseten · x · 2026-10-29
Baseten 语音团队分享了对 Qwen3-ASR 的深度优化，使其成为目前最快、最低成本的批量转写方案：
- 速度：1 小时音频 5 秒内转完；吞吐达 stock vLLM 的 7 倍（单 GPU）
- 成本：约 0.1 美分/小时音频
- 三大优化手段：原生音频解码（native audio decoding）、KV cache 量化、削减不必要的 CPU-GPU 同步
文章详解了每项优化的实现方式与收益来源。
所属事件:Baseten 深度优化 Qwen3-ASR：一小时音频 5 秒转完(2 条相关)→
「Infra」频道最新
- Vercel 发布 Agentic CI：内部仓库 CI 提速 2-6 倍 — shuding · 2026-10-29
- GitHub 月 commits 达 74 亿,今年新增 400 万 CPU 核心应对 agent 浪潮 — ai · 2026-10-29
- Seagate 单季营收涨 61% 至 42 亿美元,Exabyte 产能已排到 2028 年 — BenBajarin · 2026-10-29
- 黄仁勋:模型速度翻倍即收入翻倍,前提是需求跑赢产能 — rohanpaul_ai · 2026-10-29
- 单次任务 400+ 工具调用,Monty 沙箱给 agent 撑起沙盒代码模式 — samuelcolvin · 2026-10-29
- Delta-Matching 打通全 FP8 注意力训练:七个核心矩阵乘全部 FP8,loss 追平 BF16 — songhan_mit · 2026-10-29