MoviEdit: Long-form Multi-Shot Video Editing Made Easy
Suhyeon Lee, Zhengang Li, Soo Ye Kim, Peihao Zhu, Jong Chul Ye, Chun-Hao Paul Huang, Duygu Ceylan, Yan Kang, Hyeonho Jeong
cs.CV, cs.AI, cs.LG
2026-11-02
MoviEdit先在降采样视频上双向写草稿，再逐段渲染。V2V总成功率0.790，Aleph为0.764。
现有视频编辑大多只吃几秒、不切换的单镜头。多镜头长片卡在剪辑点：场景、机位、外观都会跳，改动却要跨镜头认出同一个人、同一种改法。分开改，对应就丢；源视频和目标拼在一起做全局注意力，片长一拉，二次方的代价扛不住。
成对数据也没有。学会换装之后侧面仍是同一个人，源和目标得有跨镜头主体对应，这种标注现实里不存在。现有基准看短单镜头，不查切走后改没改错人，也不查再入画时编辑还在不在。提出方是 Adobe 与 KAIST。
三条管线都不靠人工标注。205,228 对候选滤完剩 86,619 对，来自 61,251 条原始片段，摘要记作 87K。画面以 540p、24 fps、大约 10 到 15 秒、每条 4 到 6 个镜头为主，另混一批私有的 5 秒单镜头对。
像素对齐是主设定：改完仍和源画面逐像素对应，只动指令点名的内容。各镜头首帧拼成网格，图像编辑模型一次改完，跨镜头改法一次定死；再交给首帧条件的单镜头编辑模型在镜头里传播。两段质检，多机位剔掉 17% 和 38%，电影片段剔掉 32% 和 47%。主体定位靠分割跟踪，做成高亮、描边或填色，剔掉 24%。半像素对齐不要求像素重合，覆盖换环境、换媒介和改外形：共享逐镜头字幕与初始噪声，改角色时去噪走到分叉再分开，改环境时用 ControlNet 注入边缘或深度，剔掉 66%。
去噪器是一套 DiT 混合专家，文本编码器和视频 VAE 冻结，两遍共用权重。起点是没有多镜头能力的短视频编辑检查点，64 张 H200 全参数微调：文字编辑 17K 步，编辑帧引导再加 8K 步。参考帧取自目标里主体出现的镜头，测试不给掩码。
第一遍帧数大约砍半并降分辨率，双向写出草稿当外观锚。不加草稿，后面会越生成越漂。第二遍按块因果生成，只看近处上下文、草稿和源块。两遍的差别是注意力掩码和分辨率。
速度矩匹配把草稿蒸到 12 步、渲染蒸到 4 步。540p、361 帧、8 张 H100 上，全注意力 364.1 秒，滑窗 258.9 秒，加缓存 166.8 秒，蒸馏后 11.8 秒，约 30.9 倍。推理可喂多张参考帧，不限第一帧。
基准是 64 条生成视频、128 个情景、8 类难度。总成功率要求一帧同时通过编辑存在、找对人、覆盖够、无关内容保留，编辑帧任务还要贴住参考帧。
文字引导、15 秒：
| 方法 | 总成功率↑ | 非主体 LPIPS↓ | 定位 Precision↑ | 跨镜头一致性↑ |
| MoviEdit | 0.790 | 0.0741 | 0.904 | 0.904 |
| Aleph 2.0 | 0.764 | 0.0916 | 0.886 | 0.981 |
| HappyHorse-1.0 | 0.623 | 0.246 | 0.729 | 0.894 |
| Gemini Omni Flash | 0.586 | 0.153 | 0.705 | 0.893 |
召回是 0.861 对 Aleph 的 0.778，主体 LPIPS 是 0.121 对 0.146，提示对齐是 0.884 对 0.846。Aleph 的跨镜头一致性更高，0.981 对 0.904。
开源一侧，Wan-Edit 的非主体差 0.0816、定位 0.840，这组里最好；SDEdit 是 0.311 和 0.321。论文称总成功率仍大幅更高。
参考帧可以是任意帧时，总成功率 0.786 对 Aleph 的 0.781、HappyHorse 的 0.486。参考帧限定第一帧时，Aleph 0.806、MoviEdit 0.803、GenProp 0.581。这一档 Aleph 更守原图，非主体差 0.0412 对 0.0586；MoviEdit 跨镜头一致性 0.981 对 0.906。
训练步数或数据变多，指标就涨。训练最长 15 秒，例子里能编辑 25 秒、最多 17 个镜头，没有单列分数。
别人更容易复用的是数据配方：首帧放进同一张网格里改完，再按镜头传播。半像素对齐用来补大形变。
全片双向只发生在抽稀草稿上，全分辨率按块生成，草稿负责压漂移。8 卡 H100 上 11.8 秒低于 15 秒片长，够离线，不够交互。
对闭源是小幅领先。文字编辑高 2.6 个百分点，任意参考帧设定高 0.5 个百分点，一致性仍是 Aleph 更高。
人长得像会改错对象，只露出局部时跨镜头对不上，图 12 是样例。编辑被限制在保住原来的运动和叙事，自由改动作、改剧情还没做。
64 条基准视频是生成的。半像素对齐数据也来自多镜头生成模型，分布可能和训练挨着，闭源名次不宜直接当成片场结论。总成功率是视觉语言模型多道二值题取与，和人工是否一致，论文没报。主表无置信区间，0.790 对 0.764 换一批视频是否还成立，无从核对。
开源对照原本不是为 15 秒多镜头训的，只能说明现成模型盖不住这个任务。多机位和短镜头对是内部数据，论文准备公开的是基准。8 类难度未拆分，群像上的认错会被总分盖住。