Precise Editing and Flexible Referencing for Interactable Worlds
Xinyao Liao, Xianfang Zeng, Zhu Liang, Zhoujie Fu, Qianxun Xu, Jiachi Liu, Gang Yu, Guosheng Lin
cs.CV, cs.AI
2026-09-28
南洋理工与阶跃星辰的EditWorld在自回归生成中流式注入编辑指令和参考图，WBench-Editing总分73.8、编辑分80.0，比次优YUME 1.5的54.8高出25.2分。
现有视频世界模型大多在做一件事：让用户在生成世界里走动。相机轨迹、键盘鼠标、文本触发新事件，这几条线都在变强。YUME 1.5、LingBot-World 2.0、DreamX-World 能按文本往世界里塞事件；XGEN-JING 和 ABot-World 能在开场用参考图锁身份。缺的是改已经在场上的东西：加一座塔、拆掉屋顶、把马路换成石板、把白天拧成暴风雪，改完镜头还要继续往前走，不该动的内容必须留着。参考图也停在开场，没法在第十五秒再把一辆车塞进来。
事件生成是往空位里长新东西。精确编辑要求指定对象被改掉、无关内容被保住、后一条指令踩在前一条的结果上。现有世界模型基准几乎只测导航和画质，改内容连统一考卷都没有。
EditWorld 从双向视频世界模型 LingBot-World-Base 改起，南洋理工大学与阶跃星辰（StepFun）合作。一张初始图当世界先验，之后按 chunk 自回归往外长视频，条件是相机位姿、文本和参考图。
Gated Causal Attention 处理指令和参考图随时间变化。每个 chunk 的文本永远带着场景描述，即不该被改的静态内容；编辑指令只在该 chunk 被标成 during 时打开。换指令时画面容易跳切，所以当前 chunk 还能看到前两个 chunk 的 prompt。参考图经 VAE 编码后拼在时间维上，可见性单向：参考 token 只能看自己，视频 token 只有在可见 prompt 提到这张图时才能看它。参考 token 再被赋一个负的时间 RoPE 偏移，从视频时间轴上拉开，减少直接复制像素。
Sparse Context 把视觉历史锁在固定预算里。生成当前 chunk 时永远留下 sink（第一段，钉住开场世界）和最近两段；其余历史用 pooling 后、尚未加 RoPE 的 query 与 key 做余弦相似度，捞 top-k。训练时 sink 和 recent 必留，其余随机抽，让模型习惯推理时的稀疏窗口。
只优化因果目标会把模型带偏成接着往下播，对条件变钝。自回归和双向目标绑在一起训，只改注意力掩码。退火 self-resampling 逐渐用自生成历史替换真值历史。实时版先用 Phased Consistency Model（PCM）把每个 chunk 收到 4 次函数评估（NFE），再用 Self Gradient Forcing 蒸馏。
数据是另搭的合成管线。导航底料来自 Sekai、OmniWorld、SpatialVID；编辑底料来自 Ditto-1M、OpenVE-3M。全局编辑用约 200 个主属性加 100 个辅属性，Qwen3.6-27B 选题，Qwen-Image-Edit 改锚帧，Wan2.2 带深度控制补过渡。局部编辑从成对视频里用 VLM 过滤后同样补过渡。标注包括场景描述、编辑指令、before/during/after 状态和 ViPE 相机。参考图子集会改写指令，抠掉图里已有的内容，逼模型去看图。
WBench-Editing 大约 150 条，每条 15 到 30 秒（240 到 480 帧），1 到 3 条流式编辑指令，一部分带参考图，一部分后一条指令依赖前一条的结果。编辑从三件事打分：改没改对、改完好不好看、无关内容保没保住，由 VLM 问答完成。主表为了公平，所有模型只吃文本指令，并且都用自回归变体。
| 方法 | Overall | Editing | Navigation | Quality | Physical |
| EditWorld | 73.8 | 80.0 | 74.3 | 74.4 | 67.9 |
| YUME 1.5 | 67.0 | 54.8 | 72.9 | 76.1 | 62.0 |
| LingBot-World 2.0 | 66.1 | 47.2 | 70.7 | 74.4 | 66.2 |
| LingBot-World | 66.0 | 54.8 | 71.3 | 75.8 | 63.3 |
| DreamX-World | 65.9 | 53.9 | 70.4 | 73.3 | 63.0 |
编辑分比并列第二的 54.8 高出 25.2，总分比第二名 YUME 1.5 高 6.8。Physical 67.9 是表内最高。导航、画质、设定、一致性分别是 74.3、74.4、60.9、83.8，能用，但不是各项第一：SolarWM 导航 86.7，AlayaWorld 一致性 93.6，YUME 1.5 画质 76.1。
带参考图的子集上，EditWorld Overall 74.0、Editing 74.6；XGEN-JING 双向版 68.7 和 63.6，SolarWM 64.6 和 19.8，ABot-World 57.3 和 25.0。XGEN-JING 能把参考里的板车放进画面，但参考锁在开场，板车和后一轮的黄气球会一起出现，时间顺序控不住。
原版 WBench 上，双向 SFT 均分 81.2，排第四，相对 LingBot-World（base-camera）的 78.5，Setting 从 72.6 拉到 84.6。自回归 SFT 均分 77.7。4-step 蒸馏版均分 79.4，Setting 85.9、Consistency 89.2，相对自回归 SFT 均分高 1.7、Setting 高 8.2。编辑能力不是拿通用世界建模换来的。
消融里，只训自回归时 Editing Overall 69.7，加上双向目标到 80.0；Detail Accuracy 从 34.9 到 53.2，是分项里跳得最开的。Edit Cleanliness 几乎没动，78.3 对 78.1。单向参考注意力能保住细部，双向会把参考表征冲脏。拿掉前两段 prompt 后，换指令会整段跳景。
世界模型如果只能逛、不能改，交互上限就是在生成的游戏里走路。EditWorld 把控制面扩到增删替换和风格迁移，参考图可在中途注入。做交互世界和游戏生成的人可以复用这套条件闸门、稀疏记忆和合成监督。代码已开源。
它仍是渐进扩展。底座是 LingBot-World，监督来自现成编辑模型，没有新的三维状态。缺「改已有内容」的团队值得跟，当即用编辑器还早。
论文没有单独写 Limitations。结论只说编辑提升、通用能力还在。
考卷约 150 条、最长 30 秒，分数来自 VLM 问答，没有真人评测，也没有和通用视频编辑器对打。主表还把参考图能力关掉，和只吃文本的模型比公平，却测不到流式引用的上限。参考图对比只有三家。Sparse Context、self-resampling、负 RoPE 没有量化消融。合成管用 Qwen-Image-Edit 和 Wan2.2 当老师，风格污染没拆。参数量、算力、延迟都没报。加上双向目标之后 Edit Cleanliness 没有变好，「改干净、别误伤」仍是短板。参考图子集编辑分 74.6，低于纯文本 80.0。