Princeton 与 NVIDIA 把 MLLM 变成世界模型:单图生成可编辑世界
OpenEnvisionLab · hf · 2026-11-20
Princeton、NVIDIA 与 OpenEnvision 的 WM^MLLM 是首个基于多模态大模型构建的交互式世界模型:从单张图像生成持久、可编辑的世界。
- 核心设计是把世界状态放在生成器外部——一个带修订历史的全景图,由 MLLM 来「书写」:把每个请求转成对状态的操作、决定局部编辑写在哪里、并在候选成为新状态前逐一检查
- 与视频世界模型不同,图像生成器只提议视图、视频只呈现画面,而 WM^MLLM 的状态在构建上保证一致性:用户可以走到新地点再返回(exact revisits)、通过文字或框选编辑物体、放置主体、改变光照/天气/季节
「多模态」频道最新
- 用 Genie 4 做出「阈限乒乓球」演示,效果惊艳 — PurzBeats · 2026-11-20
- 开源 Guaardvark 3.6:一块 16GB 显卡离线全自动生成完整 MV — llama-of-death · 2026-11-20
- Genie 4 demo 合集续:等单通过后 30 秒生成可玩世界并实时迭代 — iamfakhrealam · 2026-11-20
- Genie 4 demo:古埃及《图坦卡蒙:拉之沙》可交互世界 — iamfakhrealam · 2026-11-20
- Genie 4 demo:20 秒霓虹迈阿密追逐,24fps 实时生成带立体声 — iamfakhrealam · 2026-11-20
- 阿里推出 TaoTex:扩散模型生成原生 3D 材质,细节超越 TRELLIS — jiqizhixin · 2026-11-20