语音 Agent 被背景噪音干扰 0/5 应答,自适应门控修复至 4/4
shrapknife · reddit · 2026-11-17
一位开发者在 WhatsApp 线索资格筛选产品中加入语音 Agent,浏览器采集的麦克风音频直接流式传输到托管实时对话模型,由模型的服务端 VAD 判断客户何时说完。问题:当背景持续有人声(办公室交谈、电视)时,服务端检测器永远等不到静音,Agent 要么不应答要么被打断,且服务端 VAD 没有降噪设置。测试通过混入合成办公室噪音和 TTS 客户回复进行,尚未接真实电话线。
各方案实测结果
- 默认服务端检测器,噪音 0.35:0/5 轮应答,1 次打断
- 灵敏度调低:仍 0/5,2 次打断
- 语音低于噪音 16 dB 且无门控:仍 0/5
- 固定阈值客户端门控(0.03)+低灵敏度:4/4,延迟约 3.1s,5 次打断
- 自适应客户端门控(噪音 0/0.12/0.2):5/5、4/4、4/4,延迟约 1.1–1.3s,0 次打断
自适应门控伪代码要点
- 用门控关闭期间最近 50 个 chunk(约 5s)的 p90 估计环境噪音,阈值取 max(0.01, ambient1.8);作者最初用最小值估计,被突发性人声间隙拉低阈值而失效,改用 p90 修复
- 前 10 个 chunk(约 1s)只测环境噪音,门控保持关闭
- 音量超阈值即开门,并回填 3 个预滚动 chunk(300ms);音量降落后保持开门 6 个 chunk(600ms)
- 关键细节:门控关闭时每 chunk 发送 100ms 数字静音而非不发送——服务端检测器必须『看到』静音才能判定本轮结束,直接停发音频会导致 turn 结束永不触发
作者也声明局限:每条件仅 4–5 轮、噪音为合成、客户回复是 TTS,真实电话线噪音下表现可能不同。
「编程与Agent」频道最新
- Claude 逆向视频风格 skill 走红,新竞品提速 20 倍、SSIM 0.96 — toolstelegraph · 2026-11-17
- 数月后重试 Amp Code,开发者直呼体验完全不同终于懂了 — g3off_who · 2026-11-17
- 开发者分享 5 个服务行业 AI 自动化:帮老板找回漏掉的钱 — Crazy-Movie7633 · 2026-11-17
- SNEWPapers 推出历史报纸 MCP:让 AI 检索国会图书馆 1736–1963 报纸 — Jolly-Newspaper-6769 · 2026-11-17
- 团队筹建开源 Mock MCP Server,先向社区征集测试痛点 — OkSkirt1039 · 2026-11-17
- Gemini 4 Hydrogen 引入 xhigh 思考档位,官方给出四档使用指南 — patloeber · 2026-11-17