UniAVC 用渐进训练与不对称调度统一音视频生成与跨模态编辑
Kien T. Pham · hf · 2026-10-20
HKUST 与华为合作的 UniAVC 论文，用单一模型实现文本条件的音视频联合生成、双向跨模态生成与指令引导编辑。
- 核心思路：先在海量单模态数据上分别训练音频与视频分支，再用稀缺配对数据对齐
- 指出现有方法两大缺陷：共享噪声调度忽视信息密度差异（视频需更长时间保持高噪组织空间结构，音频可更早收敛）；同步去噪导致以一模态为条件生成另一模态的工作流未被训练
- 采用独立噪声调度与不对称监督，支持联合合成、跨模态生成与指令编辑
- 项目主页：hkust-longgroup.github.io/UniAVC
「多模态」频道最新
- 网友把整本《Animator's Survival Kit》喂给 Opus 5.5 做关键帧动画 — MoonL88537 · 2026-10-20
- Glimpse 视觉推理模型发布：对标 Astra 前沿水平 — LinusEkenstam · 2026-10-20
- ComfyUI 里能接 LLM 分析图片，音频该怎么做？ — PhilosopherSweaty826 · 2026-10-20
- AI 生成机械巨人对战视频，质感媲美电影 CG — Key_Layer6250 · 2026-10-20
- 开源 ComfyUI 模板打通 YuE2 本地写歌全流程，12GB 显存可跑 — Vivid_Promise1700 · 2026-10-20
- DeepSeek 4.1 Flash 12分钟做视频动效，成本0.2美元自评7.5分 — oran_ge · 2026-10-20