清华团队开源 Falcon：看嘴型定向提人声，参数省 91.9%、延迟降 11 倍
aigclink · x · 2026-10-31
清华团队开源音频-视觉目标说话人提取模型 Falcon，能在多说话人嘈杂环境中实时提取指定人物的声音，可直接接入腾讯会议、Zoom 等会议软件。
与传统纯音频方案不同，Falcon 结合视觉信息「选择性倾听」：把摄像头看到的目标人物与麦克风拾取的声音对应起来再提取语音。
效率数据亮眼：相比 AV-TF-GridNet 基线，可训练参数减少 91.9%、计算量降低约 20 倍、GPU 推理延迟降低 11 倍；相比同参数量级（50 万）的 Swift-Net-12，GPU 延迟降低约 70%、计算量减少约 77%。
所属事件:清华开源音视频提声模型 Falcon，0.5M 参数实时看嘴型提取人声(2 条相关)→
「多模态」频道最新
- 肿瘤科医生用 4B 开源模型做 CT 读片 demo,可框出肺结节 — Scobleizer · 2026-10-31
- AI 电影节 Lumara 纽约放映,74 分钟合集在 X 上全球首映 — Scobleizer · 2026-10-31
- 开源 PhobosStream:8GB 显卡跑 14B 视频模型,峰值显存仅 788MB — martianacademy · 2026-10-31
- 8GB 显存用 LTX 2.5 跑出万圣节恐怖短片，首帧由 ChatGPT 生成 — izzray · 2026-10-31
- RTX PRO 6000 本地跑出 4K 生成视频,作者称不再羡慕商业模型 — Extension-Yard1918 · 2026-10-31
- 两只「桥上巫师」腊肠犬与巴哥:又一张刷屏级 AI 萌图 — ainsoph00 · 2026-10-31