Pipecat 开源 Audience 模型:让语音 Agent 知道「这句话是不是在叫我」
alexcovo_eth · x · 2026-11-18
Jon Taylor(Daily)演示了多人会议中挂一个 AI agent 的方案:agent 加入通话后,每句话先经过一个快速分类模型(Jev)判断是否在对自己说话;不确定就等 2.5 秒,没人接话才开口,阈值全部可调,从而避免 agent 乱插嘴。
配套技术栈:编排用 Pipecat,STT 用 Deepgram,传输用支持多轨道的 Daily。关键在于好的 diarization(说话人分离)加一个毫秒级小分类器。
Pipecat 同时在 Hugging Face 开源了 pipecat-ai/audience 模型(Apache 2.0,提供 ONNX/Core ML 版):专为多角色语音场景做 addressee 检测——读入一句话、说话人及每个候选对象的「卡片」,输出这句话指向每个人的概率、是否指向全体,以及诚实的「不确定」信号。约束是 CPU 毫秒级推理,最新 RC2.1 提供 16-bit 半尺寸版本,精度不变。
「编程与Agent」频道最新
- 微软 Web IQ 面向全部 Azure 客户开放:给 AI Agent 用的搜索引擎 — gaganghotra_ · 2026-11-18
- Google DeepMind 开源 Antigravity 机器人插件:仿真写代码再上真机 — keerthanpg · 2026-11-18
- xAI 旗下 SpaceXSI 用 5 个 Grok Bot 承包会计全流程 — rudrank · 2026-11-18
- 预告:用自训 VLM 技术更快更省地造游戏 — OdinLovis · 2026-11-18
- 自训 VLM 补盲:游戏 bug 捕获率 56% 提至 81% — OdinLovis · 2026-11-18
- 把个人 API Token 直接给 Agent 用,是今年最懒也最危险的操作 — WesternNo2429 · 2026-11-18