WorldFoundry: Towards Unified Infrastructure for World Intelligence
Juanxi Tian, Jiadong Hou, Baiang Li, Xin Lin, Zhengbo Jiao, Weijia Zhang, Yeying Jin, Truong Nguyen, Haitian Zheng, Zhifei Zhang, Jianfei Yang, Ming-Hsuan Yang, Felix Heide, Wei Xiong, Enze Xie, Wanhua Li
cs.CV, cs.AI
2026-11-07
OpenEnvision 以「闭环」为判据区分世界模型与生成模型,并开源 WorldFoundry,统一接入 270 个模型、74 个 benchmark 做可复现评测。
视频生成模型越强,「世界模型」这个词被用得越滥。画面流畅、物理合理的视频,是在模拟世界,还是只在合成观测?OpenEnvision 团队(作者名单里有 Ming-Hsuan Yang、Felix Heide 等)的判据很硬:视觉合理性既不必要也不充分,看闭环。干预要在状态里留下痕迹并约束后续预测,新观测要能修正状态,两条都成立才算世界模型,否则只是基础生成模型。
卡住的不只是定义。视频、3D/4D、交互世界模型、具身策略四类系统各有各的 runtime、输入约定、产物格式和评测协议,跨模态比较时分不清差异来自模型还是管线;「支持某模型」也混着收录、能跑、部分验证、复现 benchmark 四种含义。作者的判断是瓶颈不只在算法,也在基建,于是先立定义,再造工具。
定义用三个算子说死:状态推断 q 从观测和动作历史估计隐状态,转移模型 p 在自身动力学和外部干预下推演状态,观测模型 g 从状态解码输出。闭环的关键在反馈:真实观测到来后,必须重新推断状态再继续预测。这是功能性定义,不规定隐状态是 recurrent、object-centric 还是几何表示。
能力阶梯搭在定义之上:Perceptual Grounding 是地基,只管解释或合成观测;World-Model Spine 三级递进,持久状态建模、动力学感知预测、闭环交互,一级压一级;Controllable Transformation 是正交能力,编辑再好也不算脊柱任何一级。系统按能力画像刻画,不按单一等级归类。
基建 WorldFoundry 五个组件:
最关键的取舍是执行与评测解耦:贵的生成结果落盘成契约化产物,之后随时 rescore、对比、审计,不必重载模型;「跑出分数」也不再自动等于「benchmark 有效」。
实验在 128 张 A100/H100(80GB)上完成。目标不是排名,是验证目录条目能解析成可执行配置、跨接口语义不变、异构产物可追溯;每个 model runner 都跑通了一条文档化的端到端参考工作流。
| 对象 | 数量 / 结果 |
| Model Zoo 收录条目 | 270 |
| Benchmark Zoo | 74 个 benchmark |
| Metric Registry | 62 个指标实现 |
| OpenVLA @ LIBERO-10 单物体任务 | 179 步完成 |
| OpenVLA @ LIBERO-10 多阶段任务 | 两个任务触及 520 步上限未完成 |
定性观察比数字更有信息量。视频侧,帧级流畅和事件级一致是两回事,画面顺滑的序列照样能在接触关系上穿帮;交互世界模型侧,认得故地重游的场景不等于记得自己造成的改变,开过的门是否还开着、推走的物体是否留在原地,这才是该测的;3D 侧,未见区域的补全可以视觉可信但几何不准。这些观察指向同一件事:现有 benchmark 很少测干预持久性和观测修正。论文未给出 270 个条目在三个证据档位的分布,也没有跨模型的量化对比表。
对要选型、做评测的人,这是一套省胶水代码的开源工具:一个接口跑通四类系统,产物统一落盘、可复用、可重打分。对研究者,能力阶梯和闭环判据给了共同语言,也点明评测下一步该测什么。
也得说清:这是基建论文,不提新模型、不刷 SOTA,贡献在工程与测量纪律。与最接近的 OpenWorldLib 相比,差异声明在证据分层和五模态覆盖,Table 1 的对照是功能清单,没有实测数据背书。
作者自述:只做推理与评测,通用训练基建留作 future work;多种 attention 后端、NVFP4 量化、多卡并行已接入但未系统刻画;验证集中在 A100/H100,B200/B300 级硬件没测够;条目成熟度不均,收录、可跑、验证是不同状态。
读下来另有存疑。实验以定性描述和截图为主,唯一带步骤数的量化结果是 OpenVLA 的 LIBERO episode;「验证」指 runner 能端到端跑通,不是 benchmark 复现,「270 个模型」容易被读成 270 个都能一键跑,用前得查附录。闭环判据是二值的,真实系统大多部分满足,视频模型也带隐式状态,论文自己也承认现有系统在阶梯上分布不均,能力画像比一条分界线更贴近现状。