单张H100跑Qwen3-TTS：每百万字符仅2美元，碾压商业API
bibryam · x · 2026-08-31
Nari Labs 发布 Qwen3-TTS 1.7B CustomVoice 的自研推理实现与基准：在单张 NVIDIA H100 SXM 上达到 10 RPS、p95 首音频延迟(TTFA)低于 50ms，实时播放无 underrun。
- 与 vLLM-Omni、SGLang-Omni、VoxServe、M 五种实现对比(泊松开放负载、5 分钟)，只有他们的实现做到 p95 TTFA < 50ms，且在 20 RPS 时仍低于 100ms。
- 成本：10 RPS 下约 630 字符/秒，按 H100 $4.29/小时折算约 $2/百万字符；对比 ElevenLabs V3 的 $100/百万、Cartesia Sonic 3.5 的 $49/百万，且延迟更低。
- 实现与基准全部开源，并给出了「实时 TTS」的四要素定义：低可听 TTFA、零 underrun、容量随 RPS 保持、输出不畸形。
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16