4Director: Controlling Video World Models with Rigid 3D Geometry
Wei Cao, Hao Zhang, Vikram Voleti, Yuqun Wu, Mallikarjun B R, Shimon Vainer, Mark Boss, Yaoyao Liu
cs.CV
2026-10-02
把输入图里每个物体重建成完整 3D 网格、逐帧刚体移动,生成器只补外观与动态;物体控制指标 IG-IoU 60.4,比次优基线高 10.2%。
专业视频生产需要分别指定相机和每个物体的轨迹,现有控制接口给不了这种精度。图像平面线索(2D 框、拖拽路径、点轨迹)说不清深度和朝向:一个不断缩小的框,分不清是物体后退还是在变小;2D 路径会把相机视差和物体运动搅在一起。3D 控制定住了位置,几何却不完整——从输入图提升的代理(跟踪点、高斯 blob)只有可见外壳,物体一转身、相机一换角度,没拍到的面就得靠模型逐帧重新编,一致性随视角流失。
4Director 给视频世界模型一个显式 4D 场景,分工是「几何管运动,生成器管外观」:
训练数据靠全自动标注管线:对 RealCOD-25K 每段视频,MegaSaM 恢复相机和深度,Pixal3D 重建网格,TAPIP3D 跟踪物体上的 3D 点,再筛出整段一起做刚体运动的「稳定核心」(摆动的肢体点被剔掉)逐帧拟合刚体变换,得到 20,774 段带完整标注的 RealCOD-Rigid。训练时深度控制视频是条件、原视频是目标,adapter 学的正是渲染里没有的部分。推理时用户导演的场景与恢复的场景走同一套渲染,新轨迹、新插入都不用再训练。
在 100 段留出 clip 上对比四个公开基线,同一组运动转成各家原生的控制格式:
| 方法 | FID ↓ | FVD ↓ | 相机旋转误差(°)↓ | IG-IoU ↑ |
| MotionCtrl | 115.6 | 1653.3 | 4.74 | 18.8 |
| Perception-as-Control | 55.7 | 1454.6 | 7.00 | 40.8 |
| VerseCrafter | 55.0 | 484.7 | 6.16 | 54.8 |
| SymphoMotion | 45.8 | 405.4 | 3.89 | 52.9 |
| 4Director | 44.1 | 370.4 | 3.65 | 60.4 |
物体控制差距最大:IG-IoU 60.4 对次优 VerseCrafter 的 54.8,相对提升 10.2%,识别率几乎持平(94.9 对 94.8),优势来自放得更准,不是更容易认。只吃 2D 轨迹的 MotionCtrl 识别率仅 32.6%,IG-IoU 掉到 18.8。平移误差 0.122,比次优低 7.6%。20 人用户研究中,控制准确性评分 4.82 对次优 2.39。消融显示完整几何和旋转缺一不可:换成无表面的 3D box,IG-IoU 从 60.4 掉到 50.3;换成不旋转的完整网格,掉到 53.0。15.3M 参数的 LoRA 版本就已超过全部四个基线。
相机加物体联合控制是视频生成走向生产工具的关键缺口,这篇把接口从 2D 提示升到可编辑的 3D 场景:遮挡先后、物体出画再入画这类 2D 控制表达不了的关系,生成前就定死了。演示里骆驼走出画面,只有 4Director 先让画面空掉、再把同一只骆驼带回来,基线要么全程留着它,要么回来时变形。「重建一次、逐帧刚体移动」的表示加自动标注管线,对做视频创作工具的团队是可以直接借鉴的工程路线。
刚体是硬边界:articulated 物体整体一个变换,跑步、肢体摆动这类细节没法指定,全交给生成器。论文自己的失败例子里,被当作刚体平移的 breakdancer 全程定格在第一帧的手倒立,没有跳舞。评估只覆盖 RealCOD-25K 的 100 段留出 clip,换领域表现未知。IG-IoU 是自提指标,当 judge 的 Qwen3-VL-2B 没对人类判定做校验;MaskIoU 不罚前后对称物体的 180° 转向,论文承认只能定性展示。基线各自用原生分辨率和 clip 长度,画质对比仍混入各家实现差异。