Falcon 音视频说话人提取模型:参数省 91.9%,推理延迟降 11 倍
_akhaliq · x · 2026-10-30
新论文提出 Falcon,一个因果流式的音视频目标说话人提取模型:利用目标说话人的嘴部视频,从噪声与多人重叠语音中抽出该说话人的声音。架构上采用单遍多尺度时频分离器,配合编码器空间的说话人对比损失,在不增加推理成本的前提下减少干扰说话人泄漏。
所属事件:清华团队发布 Falcon 音视频说话人提取模型，大幅降参提速(2 条相关)→
「多模态」频道最新
- 用 AI 拍无厘头滑稽短剧,网友自制喜剧片「D*ckhead」上线 — Scobleizer · 2026-10-30
- 语音模型 Phonic-1 实测:44 分钟通话中完成 123 次工具调用 — graceisford · 2026-10-30
- 开源面板把 ComfyUI 嵌入时间线:占位符直出视频工作流 — HomoLapis · 2026-10-30
- vlogger 用 ElevenLabs Recast 在同镜头里「换人」，万圣节玩出新花样 — Aiden_Tech_Ai · 2026-10-30
- AI 复古情景剧《Joan & Betty Show》第四集上线,50 年代画风以假乱真 — CigaretteBurnXX · 2026-10-30
- 600 MB 显存给 Kokoro 加上声音克隆:audio.cpp 新配方实测 — Acceptable-Cycle4645 · 2026-10-30