Joint and Cross-Modal Video-Audio Generation and Editing: A Unified Formulation and Design Taxonomy
Abhinav Sharma, Sai Karthik Navuluru, Wang Wei, Daksh Dangi, Xiangbo Gao, Li Li, Bo Ni, Vardhan Dongre, Junda Wu, Xiyang Hu, Jiuxiang Gu, Seunghyun Yoon, Tong Yu, Chien Van Nguyen, Mohamed Elmoghany, Nedim Lipka, Hoda Eldardiry, Hongjie Chen, Tyler Derr, Thien Huu Nguyen, Zhengzhong Tu, Nesreen K. Ahmed, Franck Dernoncourt, Ryan A. Rossi
cs.CV, cs.MM, cs.SD, eess.AS
2026-09-28
把音视频联合生成、跨模态生成与联合编辑统一成同一分布上的三个问题，五轴分类 29 个方法，并首次归档九类 28 种联合编辑类型。
声音和画面在感知里是一体的：关门声必须落在门合上的那一帧，偏一点就听着不对。生成模型这两条线却各自发展，视频模型和音频模型单看都强，拼在一起就对不上。综述出自 Adobe Research、Dolby、UMass Amherst 等 13 家机构，把「两条流在时间与语义上保持一致」当作组织问题，覆盖三类输出：双模态联合生成、从一个模态生成另一个(给无声视频配音)、耦合编辑，即改一条流、另一条跟着变。此前的综述分别讲视频生成、音频生成或音视频理解，联合编辑从未被系统分类过。这是它填的空。
统一形式化是核心：三个任务定义在同一条音视频对分布上。联合生成学 p(v,a|c),跨模态生成学 p(a|v) 或 p(v|a),联合编辑学 p(v′,a′|v,a,e)。前两者要求「对应」：看得见的声源就是听得到的声源，声学事件落在视觉原因的那几帧上。编辑在此之上加两条约束：改动要跨模态传播，目标区域之外的内容要保住。把说话人换成童声就是一例：唇形跟着新语音走，背景和身份不动。
在此之上是五轴设计分类法，每个方法在每根轴上各占一格：
五轴不独立：guidance 策略必然用两个冻结的预训练模型；凡复用预训练骨干的方法无一例外继承连续 latent 表示，离散 token 的格子只能靠从零训练或耦合 token 化单模态生成器来填，后者没人走。编辑侧给出九类 28 种编辑类型的分类表，从唇同步、联合内容增删到场景环境、叙事剪辑、联合修复，每种标注耦合方向(A+V、V→A、A→V)。发展集中在联合内容、同步、文本驱动控制三类，空格子就是研究议程。
综述不跑实验，数字是对文献的盘点。Table 1 的 29 个方法(25 个联合生成加 4 个联合编辑)中：
| 设计维度 | 主导选择 | 数量 |
| 音频表示 | 连续 latent | 28/29 |
| 视频表示 | 3D-VAE | 19/29 |
| 对齐机制 | cross-attention | 19/29 |
| 预训练来源 | 从零训练 | 12/29 |
空格子和满格子一样有信息量：没有联合方法把双流建成离散 token,没有方法在波形域直接生成音频，音频到视频只有零星专门尝试。编辑侧，场景环境、叙事剪辑(剪切、重排、摘要)、生成式补全、联合修复这些类别都没有专门方法。
评测这块最薄弱。联合编辑没有共享 benchmark,每篇论文用自己拼的数据自评，结果之间不可比。已有 benchmark 则暴露两个问题：AVGen-Bench 报告当前模型音视频美感尚可、语义接地不可靠；AV-Phys Bench 显示联合模型经常通不过物理常识检查，声音与画面的材质、力度对不上。
对做音视频生成的人，这是一张标了空白格子的地图：想做 token 化联合生成、音频驱动视频、跨镜头叙事编辑，这里告诉你前面没有竞品，以及每个格子空着的结构性原因。对做编辑的人，「没有共享评测集」本身就是个选题。数据集表(从 AudioSet 的约 200 万段到 MMTrail 的超 2000 万段、其中 200 万段带多模态描述)和指标表(CLIPScore、FAD、SyncNet 的 LSE-C/LSE-D、ImageBind 分数)可以直接当选型清单。它不含新模型与新 SOTA,价值全在组织方式：统一形式化让三个任务互相借方法，分类表让空白可见。
作者自列四条：只收至少一路输出为视频或音频、另一路进管线的方法，纯单模态生成与不带生成成分的音视频理解排除在外；Veo 3、Sora 2 这些最强的闭源系统因不披露设计无法入表，只能进附录列用户可见能力；文献覆盖到 2026 年中，领域移动很快；五轴互补而非互斥，归档带有作者判断，Wan 2.5 只标了已披露的轴。读下来再补一条：全文不做跨方法定量对比，效果数字一概不收，只做结构分类，想选模型拿不到「谁比谁好」的答案。这是取舍，也是天花板。