Adobe OmniXRef:文本图像视频引用统一控制的多参考视频编辑框架
adobe-research · hf · 2026-10-20
Adobe Research 与布朗大学发布 OmniXRef,一个多模态多参考视频编辑统一框架:用户可混合任意数量的文本指令(如「移除人物」)、图像引用(主体外观)和视频引用(镜头运动)来控制源视频的各种属性。技术要点:- 设计 reference-bank 统一输入接口,提出 R²-RoPE 支持泛化到更多参考;- OmniXRef-Model 采用单流 diffusion transformer,将源视频与 MLLM 提供的多模态上下文按交错序列联合处理;- 针对视频引用编辑训练数据稀缺,构建合成数据管线 OmniXRef-Data,并用课程学习逐步提升任务复杂度与分辨率;- 发布 OmniXRef-Bench,从 Camera、Motion、Content、Style、VFX 五个维度评测视频引用属性迁移。评测显示其超越任务专用基线与商业模型。
「多模态」频道最新
- AI 生成科幻短片《外星入侵序章》，电影级画面引热议 — theodore_70 · 2026-10-20
- AI 生成《哈利·波特》片段：哈利与赫敏深情告白名场面 — lightandcolorlab3 · 2026-10-20
- HeyGen 发布 Video 1.0,登顶 Design Arena 视频榜前三 — HeyGen · 2026-10-20
- Gemini 4 Argon 原型速度惊人：WebGL 玩具几周海量产出 — alexanderchen · 2026-10-20
- TwelveLabs Pegasus 1.5 上线 Bedrock：2小时视频转结构化时间戳 JSON — AWS ML Blog · 2026-10-20
- Sunra 推出 MCP 聚合主流图视频模型，Seedance 2.5 低至 $0.039/秒 — dr_cintas · 2026-10-20