Training Object Permanence in World Models
Haotian Zhang, Fengyuan Yu, Dezhi Luo, Haoran Sun, Zehong Zhao, Qingying Gao, Yihan Li, Siyuan An, Huayi Qin, Yilan Zhang, Zhengze Jiang, Pinyuan Feng, Renrui Zhang, Ziyu Guo, Letian Wang, Mengyue Yang, Kangfu Mei, Maijunxian Wang, Ran Ji, Vikash Kumar, Freda Shi, Chandra Sripada, Vincent C. Muller, Philip Torr, Alan Yuille, Nikolaus Kriegeskorte, Felix Juefei-Xu, Lvmin Zhang, Jieneng Chen, Yilun Du, Hokin Deng
cs.AI, cs.CV
2026-09-24
WROP用150个手写Blender任务做出150万样本；微调后的16B续写模型PWM-WROP在14模型盲测里Elo 1679.5，续写类第一、总榜第三。
视频生成模型已经能拍得很像，但物体一进遮挡就失踪、穿墙、落地不掉，是常态。物体恒存（object permanence）和物体固体性（object solidity）是婴儿几个月就会的核心认知：看不见还在，固体不能互穿。现有视频模型评测大多停在二维、图生视频，而且爱用 VLM 当裁判。VLM 自己就缺这层核心知识，拿它打分等于让不会物理的人判物理题。
WROP 把这两个原则做成可训练、可评测的数据基建：150 个手写 Blender 生成器、六个任务族、150 万训练样本，再加一份固定 300 题考卷。同时用这份数据微调 16B 续写模型 PWM-WROP，看这些原则能不能被训进去。
六个任务族对半切开。物体恒存三类：运动遮挡后按原身份再出现（Baillargeon 式遮挡）、静物被挡再揭开必须原样、容器带着隐藏物体一起移动。固体性三类：孔径够不够过、撤掉支撑必须立刻下落、碰撞后计数和动量都要保住。每个生成器写死关键物理事件发生在第 60 帧之后，前 60 帧当输入、后 60 帧当目标，对应视频续写协议。
轨迹全部用关键帧手写，不用刚体求解器，好控制遮挡和接触发生在哪一帧。表面参数（颜色、材质、灯光、相机）乱采，结构参数（物体数、轨迹、孔径比）系统变化，避免模型靠纹理蒙混。每条样本是 120 帧、1280×720、24 fps，外加自然语言提示、逐帧位姿和场景元数据。
评测覆盖 14 个视频模型，分成三类接口：真续写（从片尾接着生成）、参考生视频（把输入当视觉参考、自己重拍一条时间线）、编辑/迁移（在原时间段上重绘，理论上画不出遮挡边界之后才发生的事件）。主指标是 20 名通过资格筛的众包评委做盲成对比较，Bradley–Terry 拟合到均值 1500 的 Elo；评委看输入视频和提示，再选更符合描述、运动更自然、物体不凭空消失/穿墙的一边。像素指标只当次要诊断，因为编辑模型把静景重绘得很像就能刷 SSIM，却完全没让物体从遮挡后出来。
PWM-WROP 从 NVIDIA Cosmos3-Nano 微调，架构和分词器不动，只换训练信号：一epoch 过完 150 万样本，几何是 320×192、57 帧条件加 60 帧预测。训练栈 PWM 跑在 AWS Trainium2 上，随权重一起开源。
14 个模型、361 次有效成对比赛（每个模型约 50–52 场）。参考生视频的 Wan 3.0 Prime 和 MiniMax H3 并列第一，Elo 都是 1723.6，胜率 77.9%。PWM-WROP 以 1679.5 排第三、续写类第一，胜率 73.1%，领先下一名真续写 Grok Imagine（视频延长，Elo 1457.0）约 223 分。编辑类模型挤在中游，Elo 大约 1470–1520。
| 模型 | 接口 | Elo | 胜率 |
| Wan 3.0 Prime | 参考生视频 | 1723.6 | 77.9% |
| MiniMax H3 | 参考生视频 | 1723.6 | 77.9% |
| PWM-WROP | 真续写 | 1679.5 | 73.1% |
| Seedance 2.5 | 参考生视频 | 1649.6 | 69.6% |
| Grok Imagine | 真续写 | 1457.0 | 44.2% |
| MAGI-1 24B | 真续写 | 1248.0 | 19.2% |
按任务族拆开：PWM-WROP 在静物遮挡（OP-2）排第一，在 Baillargeon 遮挡和容器恒存进前三；固体性更散，下落第二、阻挡第五、碰撞掉到第八。参考生视频的优势主要来自固体性任务，它们可以重画整场，不必从输入最后一帧硬接。
自动指标在统一缩到 320×192 后，PWM-WROP 的 LPIPS 0.081、MS-SSIM 0.921，两项都是全场最好（次优分别是 0.105 和 0.877）。它的原生分辨率只有 320×192，对上别人的 720p/1080p，像素级还能压过一截。论文自己提醒：自动指标量的是像不像参考视频，不是物理推理对不对。
这是一份能训、能考、裁判不用 VLM 的物体恒存数据。接口类别比模型规模更能解释榜单：编辑模型在时间上走不出输入区间，参考生视频可以另起时间线，真续写才是「从这一帧接着想物理会怎样」。PWM-WROP 只换数据、不换结构，就把续写类从 MAGI-1 的 Elo 1248 拉到 1680，说明这层先验缺的是监督，不一定是更大的网络。想做世界模型的人，可以先把遮挡和碰撞当成必须过的单元测试，而不是等规模自己长出来。
数据是手写关键帧，不是物理引擎，碰撞后的轨迹「看起来合理」不等于动量守恒。PWM-WROP 是唯一吃过 WROP 训练集的模型，和其他 13 个系统的差距不能干净归因到数据。参考生视频可以重画场景，物体身份和空间布局不一定跟输入一致，总榜第一并不等于它更会接着演。Elo 置信区间很宽（PWM-WROP 是 [1604, 1782]），前四名的排序并不稳。固体性、尤其碰撞，微调帮助有限，遮挡跟踪和接触动力学可能不是同一套内部表征。300 题考卷、每对模型只评 4 道题，任务族内部方差会很大。