WOVEN论文：世界建模是独立能力，7小时合成视频胜12.5万小时真实数据

机器之心 · wechat · 2026-11-06

Northwestern、CMU、UNC 与 Amazon 团队在论文 《WOVEN: Weaving Visual World Modeling into Multimodal LMs》 中，把「世界建模」收窄为最核心的状态转移 p(s′|s,a)：空间、具身、物理、时序等任务被统一为对同一三元组的不同查询。团队用视频生成模型当「转移引擎」，构造出可对场景、动作、推理操作独立干预的 36K 题基准，错误选项还标注了错误类型。

测量发现：38 个前沿模型中，最强者 GPT-5.4 答对 65.8%，人类为 92.3%；所有模型家族失败模式一致——时序相邻判断停在 25%–28%（接近随机），几何扰动（换位置/朝向）使成绩掉到 30%，而外观扰动几乎无影响；模型随规模掌握物理原则的顺序与婴儿习得顺序一致，碰撞始终不过线；规模解决不了几何鲁棒性（Qwen2.5-VL 从 3B 到 72B 仅涨 9 个点）。

可训练且高效：在 WOVEN 上 SFT+RL 后训练 Qwen2.5-VL-3B，域内准确率从 26.4% 升至 89.3%；约 7 小时合成视频的后训练增益（3DSRBench +6.7）超过用 12.5 万小时真实视频 mid-training 的对照（+4.0）。学到的能力 zero-shot 迁移至最多 22 个外部基准，最高 +27.3 个点。

是底层能力而非任务堆叠：不同受控子集的迁移曲线两两正相关（能力提升越多外部增益越大，r=0.86）；「虚拟世界」对照实验（教模型学错误转移规则）显示下游完全不涨，证明收益依赖正确的转移规律；用 WOVEN 数据替换下游任务 30%–50% 自身训练数据，成绩仍可保持。

训练配方：决定迁移效果的并非场景/动作相似性，而是「对转移元组做什么推理」；要鲁棒性优先选视觉状态变化大的监督，时序与主体驱动任务需直接监督，主/被动动作间无迁移。配方在 7 个未见过基准上通过前瞻性验证（8 个随机种子）。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →