SepGen 单模型同时完成音视频生成与多轨分离
Aviad Dahan · hf · 2026-10-12
特拉维夫大学与 Google 的论文提出 SepGen，把一个预训练音视频生成模型扩展为一次联合采样同时输出视频、混音音轨，以及每个带描述声源各自的独立波形。模型支持两种模式：生成模式下按 caption 指定各音轨内容（如双人对话按发言顺序每人一轨）；分离模式下保持输入混音干净，用自由文本描述指定要提取的内容。评测显示在语音分离上明显优于语言条件分离器，且 caption 去掉台词后仍保持领先。代码、模型与数据集已开源。
所属事件:特拉维夫大学与谷歌开源 SepGen，视频生成可输出分轨音源(3 条相关)→
「多模态」频道最新
- 「最后的收割」：AI 生成热寂时代黑洞采集文明的科幻图景 — burny_tech · 2026-10-12
- 开发者用 AI 为肯德基制作广告片:「吮指美味」成片展示 — aitrendz_xyz · 2026-10-12
- 街头涂鸦拼贴风提示词分享:撕裂海报质感一键出图 — LudovicCreator · 2026-10-12
- 杨丽萍孔雀舞背景 MV 用 Seedance 实时生成,字节 AI 已悄然登台演艺圈 — vista8 · 2026-10-12
- 杨丽萍《孔雀舞》现场用Seedance实时生成孔雀伴舞 — vista8 · 2026-10-12
- 字节未发布世界模型曝光:《喜剧之王》授权,画轨迹即可生成电影预演 — vista8 · 2026-10-12