InfinityEdit: Infinite Video Editing with a Lightweight Edit-Ignition Adapter
Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng
cs.CV
2026-08-21
浙大与阿里冻结14B Helios-Distilled，只训轻量编辑适配器做开放视频流连续改写。200条样本三轮编辑里相机运动0.7654，VLM忠实度3.83，三轮标准差0.023。
现有指令视频编辑默认改一段已经拍完的片子：输出和源视频等长、逐帧对齐。直播游戏换风格、给正在拍的镜头加运镜，未来帧还没出现，这种原地改写用不上。
浙大和阿里把设定叫 infinite video editing：给定已生成的前一段和一条编辑指令，模型要生成时间上往后的下一段，既接得住，又把编辑做进去。指令会不停来，每段产出又变成下一段的历史。难处有三。编辑要对上。不受影响的主体和运动要在边界处续住，不能当成逐帧重画。错误会回灌进下一轮，质量不能一轮比一轮差。
直接改场景提示不够。流式生成器靠锚帧和多层历史把后续内容往未编辑的样子拉，编辑会被冲掉。
骨干是冻结的14B Helios-Distilled，块状自回归视频扩散，带分层多尺度历史。只训插在每层后面的轻量适配器，输出投影零初始化，训练开始时等于恒等映射。
适配器三步，只改当前去噪块：
训练用 flow matching。历史以一定概率加噪声，模拟推理时吃自己脏输出。噪声水平改成混合高斯，对准推理时编辑用的离散 σ，不用骨干那套分辨率绑定的金字塔。课程分两段：先均匀覆盖各噪声档，再把采样和帧损失权重挪到低噪声、后段帧。
数据是合成三元组。源视频来自 UltraVideo；Gemini 3 Flash 把抽象编辑类型写成具体指令；连接帧按类型处理，外观类先用 Qwen-Image-Edit 改最后一帧，运镜类保持原帧，再用 Wan2.2-I2V-A14B 往后续。20名标注员按对齐、连续性、合理性、画质1到4分过滤。
推理是 ignite-then-continue：适配器只在指令到达的那一块点火，后面交给冻结骨干。锚帧改成新块第一帧，场景提示换成当前指令，滑动窗口把显存卡住。
没有现成基准。他们另做了200条 OOD 源视频、每条三轮连续指令，15种编辑、四类（实体变换、风格化、运镜、运动迁移），每段四块。指令由 Gemini-3-Flash 按场景生成，与训练集不重叠。对比三类基线：纯骨干换提示、原地编辑（Lucy-Edit、SANA-Streaming）、提示切换生成（Anchor-Forcing、Infinity-RoPE）。后两个不吃源视频。分辨率384×640、16 fps，32张 H20。
| 方法 | 相机运动 | 运动平滑 | 时域闪烁 |
| Helios 纯骨干 | 0.5494 | 0.9869 | 0.9641 |
| SANA-Streaming | 0.5432 | 0.9858 | 0.9631 |
| InfinityEdit | 0.7654 | 0.9833 | 0.9660 |
相机运动比第二名大约高0.22。Gemini-3.5-Flash 做1到5分评审：
| 方法 | 编辑忠实 | 画质 | 身份保持 | 跨段连贯 |
| SANA-Streaming | 3.303 | 3.093 | 3.060 | 3.030 |
| Anchor-Forcing | 2.545 | 2.620 | 1.830 | 3.480 |
| InfinityEdit | 3.828 | 3.765 | 3.815 | 3.840 |
三轮忠实度3.860 / 3.805 / 3.820，标准差0.023。源条件基线的美学分在第一轮之后掉0.02到0.04，他们几乎持平。单段拉长后总长超过1000帧，仍能跟上指令，前一轮改过的外观也会留到后一轮。
直播、游戏、连续镜头这类开放流，需要的是「往下接并改」，不是「把这段重画一遍」。冻结大生成器、只在边界点火，比全量微调省，也把长视频先验留下来。数字显示：光换提示不够，原地编辑会把时间轴掐死，提示切换会丢掉源视频身份。
监督和评测指令都来自 Gemini，目标视频来自 Wan 和 Qwen-Image-Edit，方法可能在学合成器的编辑分布。VLM 评委也是 Gemini 系，和出题模型同门，忠实度分数有偏的风险。没有和商业视频编辑器对打，384×640也不是产品分辨率。论文承认目前只吃自然语言，边界切换仍可能硬。适配器绑在 Helios 接口上，换骨干要重做。适配器参数量和端到端延迟没有给出。