LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation
Shengxiang Ji, Boyang Wang, Haiyang Xu, Bingnan Li, Yucheng Mao, Zeyuan Chen, Xiaojun Shan, Xiang Zhang, Gang Hua, Jianwen Xie, Zezhou Cheng, Zhuowen Tu
cs.CV
2026-09-30
LIFT给图生视频补上未来构图控制，用户只需末帧框加镜头轨迹。密layout教师经on-policy自蒸馏教会1.3B学生，mIoU 0.51超过密框MagicMotion的0.41，人评偏好约66%。
镜头可控的图生视频已经能规定相机怎么走。镜头一拉开，第一帧里没有的墙面、家具、街道就会进入画面，这些新区域该出现什么、摆在哪，轨迹本身给不出答案。文本提示只能给粗语义，大视角变化时很容易在不该出现的地方长出一根柱子或一辆车。
布局条件按理说能钉住物体身份和位置。现有视频方法几乎都要逐帧框或 mask，而且主要在挪第一帧已经看见的东西。标注负担大，也管不到镜头扫开后才入画的内容。LIFT 要的接口更接近分镜：一张首帧、一条相机路径，再在最后一帧用带局部文本的 bounding box 指定未来构图。
底座是 Wan2.1-Fun-V1.1-1.3B-Control-Camera，训练和推理都是 352×640、81 帧、16 FPS，约 5 秒。四路条件：首帧、全局 caption、相机轨迹、layout。相机用 Plücker 射线（每像素一条 6 维射线）编成与视频 token 对齐的相机 token，再做 token 级相加。layout 把跨帧同色 bbox 画成像素对齐 map，经共享 VAE 编码后与噪声视频 latent、首帧 latent 通道拼接；局部提示带着对应颜色拼进文本。
只看末帧 layout，模型得自己推断物体如何随镜头入画、场景如何过渡到目标构图。直接对末帧做 flow matching SFT，条件经常被忽略；把框密度从全帧逐步降到末帧（D2S-SFT）更新量大、涨幅有限。LIFT 拆成三阶段：
数据 LIFT-Vista 从 RealEstate10K、Sekai、SpatialVID 筛出。过滤看 FoV 扩张、累积平移、DINOv2 patch 内容变化率，目标是镜头揭开大量首帧不可见区域。拥挤场景和自然风景被丢掉。相机用 Depth Anything 3 统一内外参；Qwen3-VL-32B 标末帧显著前景，SAM 3 反向跟踪得到时序一致的密 layout。Stage 2/3 用 58,272 条，测试 600 条按三种 FoV 扩张区间 1:2:2 抽样。平均每条 5.5 个物体、8,302 类；84.8% 的片段含第一帧看不见、后面才出现的物体。
对比覆盖相机控制（Uni3C、GEN3C）、物体运动（MagicMotion）和联合控制（Direct-a-Video）。MagicMotion 与 Direct-a-Video 拿到逐帧密框，LIFT 只看末帧。
| 方法 | FVD↓ | FID↓ | RotErr↓ | TransErr↓ | mIoU↑ | SRe↑ |
| Direct-a-Video | 539.28 | 71.56 | 28.48 | 2.28 | 0.10 | 0.11 |
| MagicMotion | 277.94 | 18.32 | 15.74 | 1.59 | 0.41 | 0.53 |
| GEN3C(7B) | 89.59 | 15.60 | 3.91 | 2.62 | 0.18 | 0.38 |
| Uni3C(14B) | 111.60 | 12.75 | 3.23 | 0.70 | 0.31 | 0.47 |
| LIFT(1.3B) | 99.35 | 12.84 | 2.97 | 0.59 | 0.51 | 0.59 |
FVD 最低是 GEN3C 的 89.59，LIFT 99.35，好过 Uni3C 的 111.60。FID 和 LPIPS 上 LIFT（12.84、0.42）与 Uni3C（12.75、0.42）几乎打平。相机误差和 layout 三项 LIFT 都是表内最好；相对拿到密轨迹的 MagicMotion，mIoU 从 0.41 到 0.51，SRe 从 0.53 到 0.59。
按适配阶段的 sample update 计，直接末帧 SFT 和 D2S-SFT 都是 128K，mIoU 0.44 / 0.47，FVD 114.03 / 110.53；OPSD 只用 8K，mIoU 0.51，FVD 99.35。从 Stage 1 起算，SFT 路线 256K update，OPSD 路线 136K。去掉锚定损失，FVD 升到 129.14。只蒸馏末帧模式，纯相机 FVD 是 121.88；只蒸馏纯相机，末帧 mIoU 掉到 0.38；双模式分别是 95.66 和 0.51。推理多给几帧框、不必重训，密 81 帧 mIoU 可到 0.62。7 人、每人 30 组、210 次选择，偏好率 LIFT 65.96%、Uni3C 22.34%、MagicMotion 11.70%。
虚拟制片、房产漫游、世界模型往前走时，用户经常只关心镜头扫开后最后那一格的构图，没有精力画 81 帧框。LIFT 把密 layout 教师压进这个稀疏接口，并用同一套权重保住纯相机模式。
训练配方更容易搬：特权密条件当教师、学生 on-policy 匹配速度场、只蒸馏高噪声前缀、再加一条弱 SFT 锚。数据也写得很硬，大视角必须单独筛。同样 30K 条，过滤组 RotErr 从 15.62 降到 13.14，FVD 从 278.85 到 266.58。这仍是 1.3B、5 秒、352×640 的研究设定，进不了成片管线。
论文写明控制信号是 2D 框加局部文本，没有深度、朝向和遮挡，只能约束到物体大致落在某个矩形里。
评测检测也用了 Qwen 系列，和标注管线同源，mIoU、SRe 可能偏乐观。人实验只有 7 人。GEN3C 的 FVD 仍明显更好，1.3B 对 7B/14B 的画质对比没有对齐数据与分辨率，读不成架构胜利。拥挤场景和自然风景被丢掉，多人、户外大场景没有数。用户只钉最后一帧，物体何时入画、中间如何被镜头带出，仍靠模型自己编。