语音 Agent 的真瓶颈不是模型,而是轮次切换时机

Kindly-Duty272 · reddit · 2026-10-15

一位开发电话 agent 的工程师复盘:反复调 prompt 和 TTS 音色,通话依然别扭。真正的问题不在说了什么,而在 agent 什么时候开口——VAD 检测到停顿就抢话,而人类是靠语气和呼吸判断的,电话 agent 只看得到静默。

他尝试缩短 endpointing 窗口让反应更灵敏,结果对方句中停顿就被打断;加宽窗口又显得迟钝像机器人。有效的解法是把 STT 置信度和部分转写当作第二信号,而非只看静默时长:如果部分转写以结尾连词收尾,即使停顿已够长也继续等待;如果从句在语法上已完整,就可以更快接话。

结论:这根本不是模型问题,换更快的模型打 equally 断依旧;大家纠结的 WebSocket 往返延迟、STT 到 TTS 管线,重要性都不如这一个决策点。他坦承目前所有方案都是 hack 叠 hack,基于 Twilio 或 LiveKit 的同行也还没找到更干净的启发式——这是没人写出来的那部分。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →