专题 · FULL STORY

PAN 2:MBZUAI 开源世界模型从发布到实测

11 月 11 日,MBZUAI 基础模型研究院开源物理智能世界模型 PAN 2,支持图片加文字输入并生成最长 20 秒的未来场景推演。发布后社区演示其折射与时序一致性表现,11 月下旬博主实测称物理效果媲美 GTA 级场景。

2026-11-11 ~ 2026-11-22 · 4 集 · 29 条

第 1 集 · MBZUAI 开源世界模型 PAN 2,AI 行动前先模拟推演(2026-11-11,16 条)

MBZUAI 基础模型研究院(IFM,Eric Xing 团队)于 11 月 11 日发布开源基础世界模型 PAN 2,定位为面向物理智能的「开放权重」模型。团队提出世界模型应在「亚里士多德世界」而非「柏拉图世界」中运行——不是像语言模型那样预测下一个词,而是预测每个动作之后世界会如何演化,将预测锚定在时间、物理与空间维度上。核心能力是「模拟式推理」:让 agent 在行动前先在想象中推演「如果这样会怎样」,可对多个候选动作逐一模拟后再决策。这是「世界模型」从概念走向可复用开源底座的一次标志性发布,值得机器人与物理智能研究者关注。

已确认

  • 架构基于生成式潜预测(GLP),采用双路分工:概念层由 LLM 推演接下来发生什么、如何达成目标;生成层为 29B 参数的潜扩散模型(双流多模态 diffusion transformer,推理骨架不包含在内),负责具体世界状态的预测生成。
  • 使用方式:给定当前观测(可选图片+文本)与文本描述的动作,输出最长 20 秒、704x1248@24fps(约 720p)的视频,模拟场景在时间锚定的动作计划与相机运动下的演化,支持文/图生成视频。
  • 评测方面,@rohanpaulai 转述模型评测中步准确率达 75.1%,多步规划任务完成率为 34%;演示场景包括用 29B 模型模拟机器人叠衣等物理任务。
  • 训练数据为数百万小时的第一人称(自我中心)与机器人数据。
  • 团队列出世界模型应具备的六个能力维度:遵循物理定律、历史连贯性、视线之外的持久性、符合约束、视角不变性等。
  • 开放程度较高:采用 Apache 2.0 许可,权重已上架 Hugging Face,并集成进 Hugging Face Diffusers;据 IFM 在 Reddit 的发布帖(@Aggressive-Zebra-949 转述),训练代码也一并放出;vLLM 团队宣布提供零日(day-zero)支持。配套论文编号为 arXiv:2507.05169。

为什么重要

  • PAN 2 将「世界模型」从概念推向可用的开源基础模型,为机器人与物理智能研究提供了可在行动前进行模拟推演的通用底座;Apache 2.0 许可、HF Diffusers 集成加上 vLLM 的零日支持,意味着部署与复现门槛都较低,社区可快速上手扩展。

第 2 集 · PAN 2 世界模型演示:折射、时序与空间一致性俱佳(2026-11-11,3 条)

IFM(Institute of Foundation Models)发布世界模型 PAN 2,kimmonismus 随后发布多段物理维度演示:玩具船在流水洗手池中经玻璃板后方折射与水流效果不穿帮;三个罐子按顺序注水时纸条严格按先后顺序吸水,体现时序因果;镜头跟随坠落的纸飞机全程场景保持空间一致,展示模型在物理与时空一致性上的能力。

第 3 集 · MBZUAI 开源世界模型 PAN 2,可模拟物理世界变化(2026-11-13,2 条)

MBZUAI 基础模型研究所(IFM)发布通用世界模型 PAN 2:给定当前场景(可选图片加文字)和文字描述的动作,它能生成最长 20 秒的「世界接下来如何变化」的模拟视频。模型权重与推理代码已上线 Hugging Face,采用 Apache 2.0 协议开源,供研究和开发者使用。

第 4 集 · PAN 2 开源世界模型实测:物理与一致性媲美 GTA 级场景(2026-11-22,8 条)

11 月 22 日,Linus Ekenstam 在等待 GTA 6 下载时对开源世界模型 PAN 2 进行了一轮密集实测,并在多条帖子中展示结果。他称模型的物理效果真实到像在迈阿密开车,整体质感可与 GTA 级驾驶场景相提并论。

已确认

  • 模型背景:PAN 2 由 MBZUAI 基础模型研究所(IFM)开源,为 29B 参数通用世界模型,权重与代码已上传 Hugging Face,采用 Apache-2.0 协议。给定当前观测(可选图像+文本)和文字描述的动作,可生成最长 20 秒视频模拟世界变化。
  • 混沌物理场景:Ekenstam 演示了开车冲进海里、警车追摩托车穿过湿滑小巷撞碎纸箱(摩托车在碰撞后仍保持一致)、怪物卡车碾压一排汽车、骑摩托车飞跃正在开启的吊桥等「如果……会怎样」场景。
  • 时间演化与一致性:码头夜景缓慢过渡到黎明、一艘船驶出水面,展示长时间一致性;镜头跟随摩托艇穿越海湾时,城市天际线全程保持一致。
  • 实时交互式世界生成:演示了实时生成式「游戏世界」,玩家跳过任务、骑摩托跳吊桥、开摩托艇横渡海湾,模型在持续交互与相机运动中维持场景连贯,而非预先制作的固定内容。
  • 趣味发现:模型还能生成 GTA 里看不到的场景——司机老老实实等红灯。

尚未确认

  • 以上表现均来自 Ekenstam 的演示与主观评价,尚无独立第三方复现或基准测试佐证。

为什么重要

  • Ekenstam 借 Rockstar「GTA 6 是首款鼓励同理心的 GTA」的梗做混沌测试,直观展示了世界模型在碰撞物理、长时间一致性和大范围相机运动下的能力边界;他也指出混沌场景(如湿滑小巷警车追击撞纸箱堆)是世界模型的难点。叠加 PAN 2 完全开源(Apache-2.0),这类 demo 预示了生成式实时游戏世界的潜在方向。