Baseten 优化 Qwen3-ASR:一小时音频 5 秒转完仅 0.13 美分
baseten · x · 2026-10-29
Baseten 工程师数周内把阿里 Qwen3-ASR 1.7B 打磨成目前最快最便宜的批量转写方案：1 小时音频 5 秒内转完，单小时成本约 0.13 美分，吞吐达原生 vLLM 的 7 倍，单 GPU 实现 3128 倍实时因子，号称同尺寸最准的开源权重转写模型，位于 Open ASR Leaderboard 帕累托前沿。主要性能收益来自三处优化：原生音频解码、KV cache 量化、削减多余的 CPU-GPU 同步。
所属事件:Baseten 深度优化 Qwen3-ASR：一小时音频 5 秒转完(2 条相关)→
「Infra」频道最新
- 内存涨价有多疯:Mac 加 512GB 内存要加价 13950 美元 — 0xkarasy · 2026-10-29
- Reve 公开万卡级训练基建技术报告:用 10 倍更少 GPU 训出 2.0 — cantrell · 2026-10-29
- DeepSeek Flash 指纹突变，社区推测已迁至新 GPU 集群 — teortaxesTex · 2026-10-29
- 数据图：编程 Agent 解题时 95-99% 消耗的都是缓存 token — AccBalanced · 2026-10-29
- OpenRouter 日均 10 万亿 token 里 99% 是缓存命中,真实算力需求远小于表观数字 — AccBalanced · 2026-10-29
- 可灵 4.0 上架 Cloudflare AI Gateway，720p 每秒 $0.157 — ritakozlov · 2026-10-29