清华团队发布 Falcon 音视频说话人提取模型,大幅降参提速

清华大学与青海大学团队发布 Falcon,一个面向真实声学场景的轻量级因果流式音视频目标说话人提取(AVTSE)模型。它利用目标说话人的嘴部视频,从噪声与多人重叠语音中提取其声音,采用单遍多尺度时频分离器与编码器空间架构,参数量减少 91.9%,推理延迟降低 11 倍,可适配延迟敏感的流式应用。

2026-10-29 ~ 2026-10-30 · 2 条相关