OmniXRef: A Unified Framework for Multimodal Multi-Reference Video Editing
Xiaoyan Cong, Tianyu Wang, Hyeonho Jeong, Zhifei Zhang, Yuqian Zhou, Yijun Li, Shaoteng Liu, Zhe Lin, Srinath Sridhar, Soo Ye Kim
cs.CV
2026-10-16
OmniXRef 用参考银行把文本、图像和视频参考合成一次编辑，在 125 例五类基准上综合分 3.77，相机旋转误差 0.874，约为 CamCloneMaster 的四成。
镜头轨迹、落雨、动作节奏都带时间。文字写不准，单张参考图也没有时间轴。一条成片还常常要几路参考同时起作用：一段视频给动作，另一段给运镜，一张图给主体外观。
编辑模型长期按模态拆开。EditVerse、VIVA、InstructX、Kiwi-Edit 处理文本，或再加一张图；ReBind 和 TIDE 能挂多张图；CamCloneMaster 与 RefVFX 各接受一种视频参考。Seedance、MiniMax 已能接收更宽的参考组合，其中不少参考服务于生成新片子。改一段现成视频，仍缺少统一接口。OmniXRef 用四个轴来定义：参考条数，模态，属性（相机、动作、内容、风格、特效），以及文本、图像、视频怎样搭配。
每路控制放进 reference bank（参考银行）：任务定义、编辑指令，外加可选的图像或视频。任务定义把允许改动的范围钉死，运镜银行只许动轨迹。多路银行共用同一接口。
冻结的 Qwen3-VL-8B-Instruct 读取系统提示、源视频和全部银行。提示要求每路银行只用自己的参考。随后一个单流 DiT（结构接近 EditVerse）把视觉 token 换成 VAE 特征，与源视频、参考视频、加噪目标做全注意力，按 flow matching 去噪。
Mix-Patchify 按任务决定参考视频的空间分块。源视频、目标视频和内容参考保持 (1, 1, 1)，身份和纹理需要细网格。相机、动作、风格、特效用 (1, 2, 2)，时间维不降采样，空间 token 最多降到四分之一。全用细块时，同样步数更难收敛。
R²-RoPE 修改 4D RoPE 里标记素材序号的那一维。顺序编号的范围被训练样本里的素材个数封住，推理时参考更多就会越界。噪声 token 的序号还会随参考条数后移，同一个编号有时代表输出，有时代表某路参考。系统提示、源视频和噪声用固定槽，参考另留 8 槽并随机占用。每条样本最多两条视觉参考，八个槽却都会见到数据。
课程从 272P 的单参考开始，学习率由 1.5×10^-5 在前 5000 步降到 1×10^-5，然后加入双视觉参考，最后升到 480P。无分类器引导只丢掉指令、留下画面，放大的是指令点名的属性。整段参考的影响力不被放大，否则无关内容更容易漏进画面。
OmniXRef-Data 约 10M 条，文本编辑约 7M。相机约 1.5M，内容与风格各约 650K，动作与特效各约 100K。双参考只有内容加相机、动作加相机，各 50K。源视频和目标只在被改属性上不同，参考携带同一属性但换了一套画面，用来避免抄像素。特效和风格由 Qwen3-VL 从文生视频库筛出约 200 万条候选，再用 GPT Image 2、传播模型和 Wan2.2-TI2V-5B 做出源视频与另一场景的参考。运镜用 Vista4D 沿同一路径重拍后交叉配对，动作来自 MotionPair-60K，内容用 RefVIE。
OmniXRef-Bench 共 125 条，五类均为单条视频参考。Gemini 3.8 Flash 只输出标签。综合分 = 0.45×RA + 0.25×min(VQ, RA) + 0.30×SP。RA 是参考遵循，VQ 是画面与时间质量，SP 是源内容是否保留、有没有抄入无关参考。VQ 先与 RA 取较小者，没改对就不能靠好看加分。运镜误差由 VGGT-Ω 在 32 帧上归一化后累加，不含绝对位移和变焦。
SP 整体高于 RA。模型更稳的是别改坏源视频，把指定属性搬准更难。动作 RA 只有 2.86。
| 类别 | RA | VQ | SP | Score |
| 内容 | 4.69 | 3.87 | 4.70 | 4.48 |
| 风格 | 3.71 | 3.60 | 4.65 | 3.74 |
| 特效 | 3.56 | 3.25 | 4.52 | 3.55 |
| 运镜 | 3.48 | 3.74 | 5.00 | 3.81 |
| 动作 | 2.86 | 3.88 | 4.57 | 3.27 |
| 平均 | 3.66 | 3.67 | 4.69 | 3.77 |
专用基线的差距在 RA，SP 仍然高。RefVFX 在内容、风格、特效上的 Score 是 1.98、2.24、2.49，RA 为 0.94、1.12、1.69，SP 仍在 4.39 到 4.90。CamCloneMaster 运镜 Score 3.20（RA 2.52，SP 4.99）。MotionFollower 动作 Score 2.14（RA 2.02）。
| 方法 | RotErr | TransErr | CamMC |
| OmniXRef | 0.874 | 3.961 | 4.437 |
| CamCloneMaster | 2.086 | 9.329 | 10.332 |
| Seedance 2.0 | 4.443 | 22.455 | 24.008 |
| Seedance 2.5 | 4.373 | 22.445 | 24.001 |
旋转误差 0.874，约为 CamCloneMaster 的四成，约为 Seedance 2.5 的五分之一。论文给出的商业模型对照里，OmniXRef 的综合分、RA、SP 最高，VQ 仍然落后，文中把这点归到预训练骨干的容量。不改结构、只用这份数据微调 MiniMax-H3，五类都高于原版，运镜 Score 3.99 对 3.81，特效 Score 3.83 对 3.55。
消融综合分：完整模型 3.77，去掉 R²-RoPE 为 3.18，去掉课程学习为 3.13，去掉 Mix-Patchify 为 2.86，整库 dropout 为 2.83。R²-RoPE 的综合分掉得最少，但平均 RA 从 3.66 降到 2.86，SP 仍有 4.50，分数被保源托住。去掉 Mix-Patchify 后，动作 RA 从 2.86 降到 1.51。
同一句日落指令换两段参考，光色跟着参考走。训练最多两条视觉参考，推理同时叠动作、运镜、风格三条视频时，OmniXRef 仍能跟上，Seedance 2.5 对动作和运镜基本跟不上。单卡 A100、480P、121 帧，细粒度单参考每步去噪 30.5 秒。四条参考继续用 (1, 1, 1) 时，延迟约为 3.7 倍。
文本能力还在。VEFX-Bench 的 GeoAgg，OmniXRef 为 2.708，高于 UniVideo 2.516、VACE 1.775 和 Wan 2.6 的 2.146，接近 Grok Imagine 的 2.723 与 Seedance 2.0 的 2.766，低于 Kling o3 Omni 的 3.057。ReCo-Bench 添加总分 9.08，为表中最高；替换 8.92，略低于 Mamoda2.5 的 9.06；删除 7.51，低于 8.67；风格 8.52，低于 ReCo 的 9.17。
更值得带走的是参考银行和合成三元组，Adobe 这一版骨干可以换。任务句把「改哪一种属性」和参考画面拆开，多路条件才不容易串到一起。MiniMax-H3 不加模块，只微调这份数据，就在运镜和特效上超过本体。
对上商业系统，优势在遵循和保源。动作 RA 2.86，特效 VQ 3.25，还替换不了后期流程。480P 和每步约 30 秒，也把它留在研究设定里。
论文承认四件事。属性内部拆不开，表情会跟着肢体一起被搬走。四条及以上参考明显变差。画面偏自然场景，文字类特效少。训练止于 480P，720P 与 4K 没有做。
125 条基准全是单视频参考，多参考没有定量分数，三参考只出现在定性例子里。裁判是 Gemini 3.8 Flash，没有和人工评分的相关性。商业模型未必吃同一套任务定义，遵循分的差距要留余地。
合成链是 GPT Image 2、Wan2.2、Vista4D 和 Qwen3-VL，过滤也走这一族。属性没去净，监督就是错的。双参考只有两种组合、各 5 万条。10M 里约 7M 是文本，动作和特效的低 RA 与数据量相符。R²-RoPE 的小掉幅来自单参考榜，说明不了四条参考仍然稳。