Pipecat 开源 Audience 模型:让语音 Agent 知道「这句话是不是在叫我」

alexcovo_eth · x · 2026-11-18

Jon Taylor(Daily)演示了多人会议中挂一个 AI agent 的方案:agent 加入通话后,每句话先经过一个快速分类模型(Jev)判断是否在对自己说话;不确定就等 2.5 秒,没人接话才开口,阈值全部可调,从而避免 agent 乱插嘴。

配套技术栈:编排用 Pipecat,STT 用 Deepgram,传输用支持多轨道的 Daily。关键在于好的 diarization(说话人分离)加一个毫秒级小分类器。

Pipecat 同时在 Hugging Face 开源了 pipecat-ai/audience 模型(Apache 2.0,提供 ONNX/Core ML 版):专为多角色语音场景做 addressee 检测——读入一句话、说话人及每个候选对象的「卡片」,输出这句话指向每个人的概率、是否指向全体,以及诚实的「不确定」信号。约束是 CPU 毫秒级推理,最新 RC2.1 提供 16-bit 半尺寸版本,精度不变。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →