首篇系统综述：视频-音频联合生成与编辑统一形式化，9 类 28 种编辑
Abhinav Sharma · hf · 2026-10-02
一篇新综述系统梳理了视频与音频联合建模的生成方法，指出尽管两种模态总被一起感知，多数生成模型却将其割裂处理。
核心内容：
- 用统一形式化将联合生成、跨模态生成（互相生成）与联合编辑描述为定义在「音视频对单一分布」上的三个问题；
- 提出设计分类法，沿五个设计轴比较各方法如何保证跨模态在时间与语义上的一致性；
- 据作者称是首个系统分类联合音视频编辑的综述，梳理出 9 大编辑类别、28 种编辑类型；
- 分场景介绍方法、数据集与评测指标，并给出作者认为最关键的开放问题。
适合关注多模态生成方向的研究者作为路线图使用。
「多模态」频道最新
- 华科团队提出 Multimodal Flow：语言与视觉的全连续统一建模 — hustvl · 2026-10-02
- 腾讯混元 Tex-Zero：不靠 3D 资产，纯用 2D 图像训练 3D 纹理生成 — Tencent-Hunyuan · 2026-10-02
- 一条提示词生成 AAA 级 3D 鲁布·戈德堡机器动画 — imjustnewatai · 2026-10-02
- Seedance 2.5 生成千禧年 DV 质感视频，超写实度引热议 — SimplyAnnisa · 2026-10-02
- ComfyUI 分段视频口型同步：先剪辑还是先 sync？ — Positive_Society1876 · 2026-10-02
- AI 视频推镜怎么写 prompt：dolly 还是 zoom？ — Classic-Jellyfish-26 · 2026-10-02