MBench往返85.3%对最高50.9%,像素差1.1

WM^MLLM: Turning MLLMs into World Models

Baiang Li, Enze Xie, Jincheng Yu, Jin Wang, Haozhe Liu, Yitong Li, Juanxi Tian, Felix Heide

cs.CV

2026-11-18

WM^MLLM把世界存成带修订号的全景并由MLLM写入,图像模型只提案,MBench-A往返完成率85.3%对最高基线50.9%,生成后圈选把局部编辑完成率从34.8%升到83.0%。

这篇在解决什么

视频世界模型把世界放在生成器上下文里。转开再转回,画面要重画,打开的容器和改过的光可能漂掉。图1绕一圈后,五家视频模型停在别的场景,首尾帧平均像素差(0-255)为88.4到101.3,WM^MLLM为1.1。

交互得同时做到三件事:回到原处看到存下的内容,局部编辑不动区外像素,下一步接着上一轮的终点。显式三维场景能换视角、能改局部,但把MLLM规划、物体编辑、像素级回看、写入前校验四项写全的,此前没有。

方法

状态放在生成器外面。每个修订存一张4096×2048的等距柱状全景,包括底图B、合成全景E和原生分辨率补丁Q,另有场景图、物体记录和图像事实。物理内容一变,修订号加一;只转相机不加。渲染按射线取样。同一修订、相机和配置下,回看与当初逐像素相同。

GPT-6.1-sol把文字或框选拆成有序操作,走五条路由。旋转和回看只渲染。局部编辑用GPT-Image出候选,再写入支持区。光照、天气、季节替换整张B和E,并退役旧补丁,避免旧外观被补丁带回。新地点新建场景节点。Sol-H3只生成过渡,不写状态。图像提案至多两次,视频至多一条。

支持区在生成之后确定。模型常把主体移出预选框,影子和接触也会越界,预选框就会切掉改动。选择器对比原图与候选,圈出新旧足迹和这些效果,再膨胀16像素,边缘12像素过渡到全权重。区外任一全景像素发生变化就中止,也不退回旧框。

校验看原图描述、动作、请求中的变化和场景身份。出现Fail就带记录重试一次,再失败则保持原状态,坏画面不进记忆。Uncertain不阻止提交。通过后,本轮终点是下一轮的输入。

结果

MBench-A用224个共同条目和同一评测器,对照六家视频世界模型。四项环境恢复的均值最高,95%置信区间与任一基线不重叠。

指标WM^MLLM最强基线
Epipolar91.574.0(HY-WorldPlay)
Reprojection92.275.6
Lighting99.498.6
Style99.397.9
往返完成率85.3%(191/224)50.9%

往返要求前半至少沿请求转15°,再回到起点10°内。中位转角43°,224条里189条回到0.1°内。基线完成率0.4%到50.9%,中位转角82°到173°。位姿对齐的去回帧,LPIPS中位数0.037,基线0.32到0.65。HY-WorldPlay的相机运动更高,92.5%对82.5%。40条抽帧的联合成功是31条,基线至多13条。Infinite-World与Yume-1.5回到约8.2°和4.9°,柜台已经不同。

454个片段里88.3%是几何操作,即215次旋转和186次场景恢复,生成器没有参与。去掉含hold或终止失败的条目后,Epipolar仍为93.9,基线至多74.5。

CompBench的2709条提案由GPT-Image生成,15列对15个基线全部最好。背景差距最大,三类PSNR为30.440、29.104、32.868,基线最高27.692、26.849、28.891。前景LC-I只略高于BAGEL,0.845对0.838、0.911对0.883、0.880对0.874。150条盲评里,整张采用候选的指令完成率最高,为91.3%;完成且无多余改动的比例,支持区合成52.6%,整张采用30.0%,阈值粘贴22.0%。多物体LC-T上,阈值粘贴21.335,高于21.070。

112次局部编辑使用相同的配准和羽化。生成前圈选,完成率34.8%;生成后圈选,83.0%,差48.2个点,区间37.9到58.3。46次回看的哈希全部一致。97次通过校验的局部编辑,区外像素全部不变,其中92次被判区域符合请求。连续21条请求里旧改动都还在,前20条只改了全景的10.7%。查找时去掉修订号,198次里60次会取到更晚编辑之前的画面。

为什么重要

从单张图边走边改,还要走回原像素,这三件事被写成了提交条件。状态一旦提交,转头和回看不再调用模型,图像模型只负责提案。

成图质量仍取决于GPT-Image和GPT-6.1-sol。对视频世界模型,多出来的是重渲染已存状态。对图像编辑,区外像素不动,指令完成率更低。延迟在分钟级:旋转、导航、多操作的状态处理中位数为120秒、215秒、267秒,请求到首次播放609.4秒(两张A6000)。124帧过渡在四张H100上的中位数为71.9秒。20组八回合里,去掉观察事实后,编辑留下32/40、整段走完7/20,与完整系统相同。留住改动的是全景。

局限与存疑

请求经常走不完。280次failure hold里,276次是终点被拒。hold抬高了外观分,请求里的动作并没有发生。校验和盲评对不齐:309个通过的终点里,190个被判完成;276个被拒的终点里,83个仍被判完成。盲评是Claude Opus 5.5,没有人类校准,抽帧也看不到两帧之间的运动。

错误会往后传。上一步正确时,下一片段完成100/153;不正确时只有25/95。全景只覆盖一个相机中心,平移和没见过的区域仍要生成,227个环境条目里208个标了接缝。滑梯请求里摩托车停在旁边,校验却给Pass;右移方向反了,校验给Uncertain,这种结果仍会写入。

连续21步会重试没通过的候选,不能当成一次成功率。规划提示改短,或用视频末帧当下一状态,差异区间包含0。这里多数片段只是重渲染已存的全景。

术语

原文与代码

相关论文

全部论文解读