WorldDraft: If Code Builds the World, Can Video Models Just Render It?
Zhiyu Hou, Wen-Jie Shu, Harold Haodong Chen, Weilin Ruan, Chenfei Liao, Liuzhou Zhang, Disen Lan, Xiaogang Xu, Qi Chen, Ser-Nam Lim
cs.CV
2026-11-12
48族4D世界共432例,测12个视频模型能否只按稿渲染。保物理与换外观仍冲突,源颜色泄漏最高64.17%。
一条新流水线把活拆开:coding agent 写 Blender 或 MuJoCo 脚本,定下布局、轨迹、碰撞和相机;视频模型只把这份低保真草稿画成逼真画面。模型不再负责发明物理。
按稿渲染要同时过两关。world preservation 要求保住草稿里的几何、运动、事件时序和机位。visual realization 要求文字指定的颜色和材质绑对物体,遮挡、形变、换视角之后不串、不丢。现有 video-to-video 评测多在改真实视频,源纹理已经很满。PROWBench 主要核对引擎日志里的行为和时间线。运动跟对但外观没换,或者外观换对但叉车轨迹被重画,旧指标里分不开。
WorldDraft 用 48 个可执行 4D 世界族,在冻结的动力学上做 3×3 交叉,得到 432 个严格配对。六类压力按主导挑战归类:多物体编排、多阶段动态、遮挡后再出现、相机运动、非刚体形变、混合交互。真实视频只作动态蓝图。GPT-6-Astra 把交互和机位译成 MuJoCo 或 Blender 脚本,导出几何、轨迹、事件时间戳和相机位姿。每族过三道准入:仿真不发散、交互与参考一致、绑定压力明确。
粒度三档只加结构信息。P0 是基本体加平涂。P1 是常规网格加基础光照,当作标准工作点。P2 是 previs,稠密网格和真实感阴影,仍是合成图。外观三档只改表面。AN 是灰泥,外观全靠文字。AA 让源外观贴近提示。AC 故意打架,例如蓝金属对红塑料。几何、轨迹、相机不动。提示每族只写 2 到 4 个可核对属性,用「领头的方块」这类角色指代,不写轨迹和机位,避免文字把稀草稿补完。
评测拆开打。物理保存看实体数量、轨迹匹配的框 IoU、交互成功率、事件时间覆盖,以及相机的相对旋转和尺度归一化平移;P0 不因缺少 P2 的细节被罚。外观实现是属性级是否题,评判只看文字和成片,不看源草稿。外观持久要求锚帧先做对,同一物体之后还保持,错误外观一直不变不计分。冲突惩罚是对齐与冲突的外观分差。源泄漏是冲突样本里源属性被留下的比例。标准工作点是 (P1, AN)。Overall 把三块视角按 0.50/0.25/0.25 加权:全网格表现、粒度增益、冲突稳健。
WorldDraft-Primer 不训练,只改第一帧,其余帧不动,免得改全序列弄乱已经记录好的运动。Qwen3.5 挑出容易被丢掉的物体,开放词汇检测给框,SVG 在外围画角括号。单色括号用来锚结构;括号和地面上的目标色、粗纹理、软阴影用来锚外观。物体内部的源颜色留着,冲突条件仍然成立。
12 个模型的主分是整张 3×3 网格的平均。下表抽出物理保存、外观实现、源泄漏的两端,以及总分前两名。未列入的开源模型,Overall 从 OmniWeaving 的 57.62 到 Bernini-R 的 62.97。
| 模型 | 物理保存 | 外观实现 | 外观持久 | 源泄漏 | Overall |
| SolarRenderer-33B | 63.28 | 69.97 | 61.68 | 40.37% | 62.59 |
| LynnReal-Omni-32B | 60.52 | 75.51 | 68.41 | 30.54% | 64.89 |
| MiniMax-H3-33B | 50.70 | 76.38 | 70.32 | 28.64% | 63.63 |
| Wan 3.0 | 44.37 | 80.40 | 75.41 | 27.39% | 63.36 |
| Seedance 2.5 | 58.66 | 75.55 | 69.20 | 41.57% | 64.73 |
| Wan2.1-VACE-14B | 60.97 | 60.86 | 51.68 | 64.17% | 56.89 |
SolarRenderer 物理保存最高。Wan 3.0 外观实现 80.40、外观持久 75.41,物理保存全场最低,只有 44.37。Seedance 2.5 的 Overall 是 64.73,低于 LynnReal-Omni 的 64.89;它的源泄漏仍有 41.57%,并不跟着总分一起好看。12 个模型的 Overall 落在 56.89 到 64.89,满分差 8 分。
中性外观下,P0 到 P2 的结构增益在 10 个开源模型上全部为正,最高是 Wan2.1-VACE 的 +18.82。外观增益和绑定增益也全部为负,跌得最多的是 OmniWeaving-8.3B,外观 -14.47,绑定 -15.95。正文写 9/10,表 1 逐项是 10/10。12 个模型里只有 Seedance 2.5 两项为正,+2.51 和 +3.21。Wan 3.0 几乎不动:结构 -0.35,外观 -0.58,绑定 -0.16。
冲突固定在 P1。冲突惩罚最高 10.63(OmniWeaving),最低 0.53(Wan 3.0)。源泄漏最高 64.17%(Wan2.1-VACE),UniVideo-13B 为 52.24%,Wan 3.0 与 MiniMax-H3 仍有 27.39% 和 28.64%。
仓库叉车那条遮挡后再出现的世界上,LynnReal-Omni 和 Seedance 2.5 的空间保存经常不超过 18.8,最低 6.2,机位和货架被文字另起一套。12 艘帆船的 3×4 配色上,两个模型在中性稿下都会串色。LynnReal-Omni 从 P1 到 P2,对齐条件下实现分由 73.1 降到 46.2,冲突条件下降到 17.3,还会多出一簇绿帆船。
Primer 只测了 OmniWeaving 和 MiniMax-H3。OmniWeaving 的物理保存 61.61 升到 64.60,外观实现 66.37 升到 70.93,泄漏 50.97% 降到 47.55%,Overall 57.62 升到 60.13。对照的文本提示工程只到 58.52。MiniMax-H3 的外观实现从 76.38 升到 80.21,Overall 从 63.63 升到 65.56,超过 LynnReal-Omni 的 64.89 和 Seedance 2.5 的 64.73。它的文本提示工程得到 64.89,与 LynnReal-Omni 的原始总分相同。
运动由代码定死以后,视频模型的工作是条件 video-to-video。更密的 previs 稳住了结构,也盖掉文字要的外观,所以把标准工作点放在 P1,是量出来的。颜色写错的精细预览比灰泥更危险。源泄漏从 27% 到 64%,「草稿外观只是占位、文字说了算」这个接口还没有成立。
Primer 是测试时的插件。两个模型上,物理保存和外观实现一起涨,纯文本提示做不到。Overall 大约多 2 分,泄漏仍高于 27%。12 个模型的总分只差 8 分。把渲染器做大,没有单独解开这两项目标。
Primer 没有覆盖物理保存最高的 SolarRenderer,没有覆盖泄漏最高的 Wan2.1-VACE,也没有覆盖两家商用模型。首帧线索能不能拉动已经偏向某一端的模型,还是空白。
粒度上的负收益还在。OmniWeaving 加上 Primer 之后,P0 到 P2 的外观增益从 -14.47 变为 -15.45,绑定从 -15.95 变为 -17.02,结构只多 +0.76,冲突惩罚从 10.63 到 10.41。绝对分上升了,草稿越细越伤外观这件事没被拆掉。
外观分来自是否问答,评判模型未说明,与被测视频模型是否同源也未说明。论文写明 FVD 量不到这两项目标,这些自建分数不能对到常规视频榜。48 族脚本由 GPT-6-Astra 从真实视频译出,蓝图挑选和翻译误差会进「保住世界」的定义。提示只有 2 到 4 个属性。不超过 18.8 的空间保存是单案例,不是全榜物理保存。Primer 还依赖检测框,框错了角括号会锚到错误物体,失败率没有给。