开源 TaoMate-FVSR:音频引导的人脸视频修复,支持换声配音
Apprehensive_Sky892 · reddit · 2026-11-04
GitHub 开源项目 TaoMate-FVSR 发布,这是一个音频引导的面部视频修复(Audio-Guided Facial Video Restoration)模型,配套论文、项目页与 Hugging Face 权重。
- 核心能力:结合原视频音频、稀疏视觉参考和已生成帧历史来修复人脸视频;既可用原始音频修复,也可用替换语音做「视觉配音」
- 推理流程:DWPose 裁剪 → 人脸修复 → 色彩/掩码融合 → 贴回原帧,支持整片推理;1×/2× 两档,在 512×512 或 1024×1024 下运行后回到 512×512 合成,输出保持原视频分辨率
- 参考灵活性:首帧可用 GPEN 增强,也可用外部编辑的首帧或成品参考图;默认 1× 用一次 GPEN-BFR-512、2× 用一次 GPEN-BFR-1024
仓库仅含独立推理运行时,权重从 Hugging Face 单独下载,输入媒体本地提供。
所属事件:阿里淘天开源 TaoMate-FVSR：音频引导修复 AI 视频人脸(2 条相关)→
「多模态」频道最新
- 开源图像模型 MOSS 被吐槽：照片糊得像涂了凡士林 — mogged_by_dasha · 2026-11-04
- Reddit 作者开源 MiniMax H3 全套 ComfyUI 工作流:TTS、图像编辑与 3mp 升修 — Support_Marmoset · 2026-11-04
- 开发者用 Grok 打造游戏开发机器人,自建 3D 角色与星舰知识库 — Promptmethus · 2026-11-04
- HeyGen HyperFrames 技能上线 Perplexity，文字一键生成可改视频 — toolstelegraph · 2026-11-04
- AI 视频新作：Draconia 万圣节主题第二弹 — R34vspec · 2026-11-04
- AI 生成定格动画短片：猫和鸡室友 Zoo 偷猩猩历险记 — RealBrainRocket · 2026-11-04