语音 Agent 的打断处理实战

AI Engineer · youtube · 2026-07-20

这场 workshop 讲的是生产级语音 Agent 的三个难点：\n\n- 打断处理：用户在模型回复时插话，系统要决定是立刻停、淡出还是继续说完。\n- 静音判断：必须判断用户是真的说完了还是在思考，否则会误打断或制造尴尬空白。\n- 延迟控制：整条链路从 STT、LLM 到 TTS 只有约 200ms 预算。\n\n演讲者强调，语音 Agent 的难点不是“AI 本身”，而是音频工程：WebSocket 编排、音频切片、LLM 跟不上实时输入时的 backpressure、以及回声消除等。实现栈是 Pipecat + Daily(WebRTC) + 任意 STT/TTS + 任意 LLM。