EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models
Yequan Bie, Dengyang Jiang, Zhixuan Chen, Xiaozhuan Liang, Haoxuan Che, Quande Liu, Xi Chen, Hao Chen
cs.CV, cs.AI
2026-11-05
VLM 大脑持续记录世界状态、推理画外事件后果,交给渲染器画出因果反应,Core 成功率 90.8%,最强基线仅 21.7%。
视频世界模型这两年在长时程一致性上进步很快:循环状态记忆、检索式记忆、3D 点云空间记忆,各种机制都在解决「看过的东西别变样」。但它们都只管保存已观察到的画面,不管世界在镜头外有没有继续演化。
论文开头的例子很直观:镜头先拍下一个站在天桥上的小贩,摇走之后旁边建筑的玻璃幕墙坍塌,再摇回原位。合理的画面是小贩已经蹲到货车旁躲避;现有模型给出的是小贩原地不动、跟着镜头走、或者凭空多出一个人。港科大、腾讯和中大把这个问题定义成新任务 Out-of-Sight Causal Evolution(画外因果演化):事件在主体离开视野后注入,重访时必须给出因果上说得通的反应,重访画面与前一帧视觉一致不算数。
任务被抽象成三段 rollout:初始(拍主体)、事件(镜头移开后换 prompt 注入事件)、重访(镜头摇回,揭示主体的新状态)。EvoWorld 的核心设计是把推理和渲染拆成两个组件:
数据是造出来的:Gemini3.1-Pro 把结构化场景元组扩写成单镜头脚本,Seedance 2.0/2.5 渲染,再用 VLM 校验连续性、主体一致性和事件可见性,用 Lucas-Kanade 特征跟踪加 RANSAC 剔除相机运动不合格的片段。最终约 12k 条不少于 10 秒的视频,覆盖 19 个事件族 65 种细粒度事件、63 种场景、14 种反应,写实和游戏两个域。EvoWorld-Bench 有 120 例,对训练集做了帧级视觉相似度和 prompt 语义相似度的双重查重。
主表(EvoWorld-Bench,120 例):
| 方法 | Core | 重访 | 事件 | 因果 | 反应 |
| 第二名 Evoke-Turbo | 21.7 | 98.3 | 89.2 | 32.5 | 29.6 |
| EvoWorld | 90.8 | 100.0 | 97.5 | 94.2 | 85.0 |
其余五个基线(LingBot-World v1/v2、YUME-1.5、SANA-WM、Echo-WM、Evoke)的 Core 全部落在 13.3 到 20.0。Evoke-Turbo 那行最能说明问题:重访 98.3、事件 89.2 都不差,Core 却只有 21.7,相机控制和事件渲染凑不出一条因果链。Core 要求同一条 rollout 里重访、事件、因果三项同时成立。
消融:IAA 把 Core 从 82.5 提到 84.2,第二阶段在线训练再提到 90.8,因果合理性到 94.2。贡献拆解更干净:把 brain 生成的推理 prompt 直接喂给 Evoke-Turbo,Core 从 21.7 涨到 45.0;反过来,训练好的渲染器喂盲重访 prompt,性能大幅下降但仍强于基线。推理和渲染器训练各占一半功劳,而且 prompt 可以跨渲染器迁移。一次性长 prompt 的对照也做了:LTX-2.5 拼完整 prompt 单次生成 Core 34.2,MiniMax-H3 只有 21.7(重访 100、事件 99.2,因果仅 44.2),分段自回归加推理是这个任务的正解形态。
任务定义本身就是贡献:把「世界模型有没有状态、讲不讲因果」从观感评价变成可测指标,游戏、仿真环境生成、agent 训练环境都能直接搬这个设定。架构判断也有参考价值:纯 diffusion 渲染器不适合扛世界状态,VLM 外挂大脑加专用渲染器是更便宜的分工,brain prompt 可迁移说明这条路不绑死某个渲染器。12k 数据、120 例 bench 加代码都放出来了,跟进门槛不高。
作者在附录 G 自己承认:只处理单事件加单反应,没有多事件交互、多实体演化;相机运动只有水平移开移回,大幅位移、环绕、6DoF 轨迹都没测。读下来还有几处要打折扣:主表是系统打裸模型,基线直接执行盲重访 prompt,EvoWorld 额外多了 VLM 推理和实体检索,表 3 部分回应了这个质疑,但渲染器是在自家 12k 同分布数据上训的,基线没见过这类数据;裁判 VLM 是 Qwen3.8,和 brain 同一家族,自我偏好偏差没有讨论;训练数据全部由 Seedance 合成,分布偏差会传给渲染器;bench 只有 120 例。