拆散实时语音栈成本降 14 倍,意外收获是文本层护栏
Cloudsurfer_90 · reddit · 2026-09-22
开发者在生产环境跑了数月语音 agent 后,把融合的 realtime 模型拆成 STT → LLM → TTS 三段独立服务,成本从约 $0.18/分钟降到约 $0.0125/分钟,约 14 倍差距。
- 代价是延迟:融合模型明显更快,目标是 voice-to-voice 控制在约 788ms 内,有时做不到;如果产品是实时电话、用户会抢话,融合可能仍值这个钱。
- 意外收获:拆分后 LLM 输出在生成音频前是纯文本,所有护栏都能在文本层运行——可以拦截错误回答或幻觉数字,在音频生成前直接 kill。作者认为这种可检视性比省成本更重要。
- 建议:早期且成本敏感、或需要审查模型输出,就先拆分;只有延迟真正成为瓶颈时再融合。
作者同时征集:大家在生产环境拆分栈的延迟能做到多少。
「编程与Agent」频道最新
- 资深工程师晒「AI 优化之夏」：多款广泛使用的库显著提速 — austinvhuang · 2026-09-22
- AI 编码助手流行「参谋长」模式：编排者不碰代码 — arpit_bhayani · 2026-09-22
- Jay Alammar 联合多位作者推出免费 AI Agent 入门大师课 — JayAlammar · 2026-09-22
- 博主实测 Grok 4.7 编码：Cursor 里跑 4 个真实项目并算成本 — Arindam_1729 · 2026-09-22
- Agent 空手交差却报成功，验证必须放在模型写入权限之外 — Muted_Ad_9442 · 2026-09-22
- 开发者用 Rust 单次凭证门拦截本地 LLM 工具调用的重放与重复执行 — AdmissibilityScience · 2026-09-22