语音 LLM 坐席接管方案：四级人工介入架构与 200ms 交接挑战

Nick-Can9972 · reddit · 2026-10-29

作者分享低延迟语音 LLM 系统（Deepgram ASR + Cartesia/ElevenLabs TTS + 流式 LLM）中人工接管的设计。多数架构只有「触发即挂断转 SIP」的二值回退，他提出四级介入：1) 被动监控——音频经 WebSocket 流到坐席控制台；2) 动态风险标记——对转写片段跑快速分类器，识别情绪下滑、循环对话或意图不符并调整坐席面板优先级；3) 提示耳语——坐席向对话记忆注入上下文但不接管音频；4) 硬接管——平滑切换音频桥，切断 TTS 但保持线路。该方案已在其产品 Vaarti Command 中实现，作者同时征集 200ms 内 WebRTC/SIP 状态与音频上下文同步的经验。