清华 Falcon 登 NeurIPS：0.5M 参数实时「看嘴提声」，附 RealSSA 基准
aigclink · x · 2026-10-31
清华团队开源流式音视频目标说话人提取框架 Falcon（NeurIPS 2026 论文），配套项目页、代码、Hugging Face 模型与在线 demo。
- 核心方法：用单次前向的 AudioBlock 编解码器完成多尺度时频分离，替代迭代式分离循环；配合编码器空间的说话人对比损失抑制近场泄漏，且不增加推理成本、对各种 AVTSE 骨干架构通用
- 性能：0.5M 参数，GPU 延迟 51.3ms；相对 AV-TF-GridNet，参数减 91.9%、计算量降 20.2 倍、延迟降 11.1 倍；在 RealSSA、LRS2-2Mix、LRS3-2Mix 上均达 SOTA（RealSSA SI-SNRi 7.7dB，LRS3 16.4dB）
- RealSSA 基准：新发布的真实感模拟场景 AVTSE 基准，含 2-6 个动态说话人、四类场景，并配真实录音评测集
- Falcon Studio：可在笔记本本地运行，摄像头追踪目标嘴部，提取语音输出到耳机或经虚拟音频设备送入腾讯会议/Zoom，实现真实会议中的定向聆听
所属事件:清华开源音视频提声模型 Falcon，0.5M 参数实时看嘴型提取人声(2 条相关)→
「多模态」频道最新
- M5 Ultra 本地跑通视频生成+2K 精修：12 分钟出 1088p 成片 — TgoAI · 2026-10-31
- 开源 Imagination Studio:一个仓库整合 61+ AI 创作应用的影视工作站 — nicolascraske · 2026-10-31
- ComfyUI 发型参考库开源：800+ 发型按长度分类附工作流 — Mysterious_Pride_858 · 2026-10-31
- 博主 4 分钟扫完酒店房间,Echo-3 完美重建 3D 场景 — risingodegua · 2026-10-31
- 12小时做出AI短片《Draconia & Harry》,作者开源整套项目文件 — R34vspec · 2026-10-31
- 肿瘤科医生用 4B 开源模型做 CT 读片 demo,可框出肺结节 — Scobleizer · 2026-10-31