WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
Wangbo Yu, Kunhao Liu, Wenbo Hu, Shenghai Yuan, Chaoran Feng, Haiyang Zhou, Yukun Huang, Yiran Wang, Wang Zhao, Yingmin Luo, Ying Shan
cs.CV, cs.AI, cs.GR
2026-09-22
腾讯ARC与北大的WorldCrafter用LagerNVS初始化的编码器把历史latent压成隐式三维记忆，再按目标位姿读出固定token。相对最强基线Lyra 2.0，回访LPIPS从0.487降到0.255，蒸馏后四卡可到16fps。
交互式视频世界模型要跟着用户相机走，还得在几分钟后绕回来时认出刚才的房间。全历史注意力算不动；按相似度抽几帧，覆盖面窄；用深度把旧帧warp到新视角，几何一错、动态物体一动就花。几何预训练的隐式记忆又偏深度，不像新视角合成那样同时保住外观。
WorldCrafter要的是一块相机可查询的隐式三维记忆：历史被压进固定token预算，读出时由即将到来的视角决定压缩什么。
主干是分块自回归的视频DiT，从Helios-base初始化。第一块只靠相机位姿生成；之后每块同时看三样东西：记忆token、最近的短时上下文、目标相机轨迹。
记忆写入：编码器从LagerNVS初始化，丢掉浅层图像处理，改成直接吃VAE latent。输入长度有上限，推理时保留最新一帧，再用贪心选其余历史帧，让它们的视场并集尽量盖住即将走的目标区域（max-coverage），而不是按两两FoV相似度各抽最像的。
记忆读出：在固定DiT token预算下对比无位姿读出和位姿引导读出。后者用目标轨迹上采的查询位姿去抽固定数量token，把预算花在「马上要看的那边」。这些token和近期历史、当前噪声拼成一条序列做自注意力。相机条件走UCPE的平行注意力分支，只打在噪声段，不打进记忆和近期上下文。
训练四阶段：先改推理窗口，再冻骨干训相机分支，再把编码器热到latent输入，最后联合训编码器、读出、DiT和相机分支。数据含Open-Sora-Plan、DL3DV、MIND合成视频，位姿用Depth Anything 3标。蒸馏用金字塔DMD，高低噪声两个学生吃不同数据配比，低噪声保纹理、高噪声保跟拍，推理时高噪声走前面的步、低噪声走最后一步。WorldCrafter-fast在四卡上到16fps。
基准145张图（83动态、62静态），每张配5条含闭环回访的轨迹，共725条视频，长度528到1648帧。对比DreamX-World、Alaya-EVOKE、HY-WorldPlay、Lyra 2.0、Echo-WM、LingBot-World 2、Matrix-Game 3.5、SANA-WM。
回访一致性：
| 方法 | LPIPS↓ | PSNR↑ | MEt3R↓ |
| Lyra 2.0 | 0.487 | 14.050 | 0.334 |
| WorldCrafter | 0.255 | 18.016 | 0.166 |
| WorldCrafter-fast | 0.186 | 20.868 | 0.129 |
相对Lyra 2.0，LPIPS相对降47.6%。相机控制WorldCrafter RotErr 13.536、TransErr 1.475、CamMC 1.546，三项都最低；蒸馏版相机略差（RotErr 18.251），仍优于多数基线。VBench总分WorldCrafter 81.910，八维里五维最好；Alaya-EVOKE总分81.406。动态程度略低于部分游戏向基线。
消融（同token预算）：上下文记忆（直接塞4帧历史）LPIPS 0.497；冻编码器0.305；无位姿读出0.333；相似度检索0.296；完整模型0.255。联合训比冻编码器更早把验证LPIPS压下去。记忆处理0.062秒/块，深度warp方案1.346秒，大约快21.7倍。
做世界模型的人如果还在「估深度再warp」，可以先看这块隐式记忆：外观和几何一起压，读出时按相机查询，不必每帧做显式对应。对要做分钟级漫游的产品，蒸馏后的16fps说明记忆模块不一定要把流式生成拖死。
渐进工作。它没有宣称几何重建精度，点云只是可视化。动态物体出画再入画有定性例子，没有单独的「出画时长」曲线。
复杂或特别长的轨迹上一致性仍会破。每块都重编码历史，有额外延迟；论文自己建议改成增量流式编码器。评测轨迹是自己配的闭环回访，不是各基线作者的官方协议，分辨率被统一到640×384。WorldCrafter-fast外观指标更好、相机更差，蒸馏在两项之间做了取舍。LagerNVS的三维归纳偏置有多关键，消融里没有换成随机初始化编码器这一档。