专题 · FULL STORY
PAN 2:MBZUAI 开源世界模型从发布到实测
11 月 11 日,MBZUAI 基础模型研究院开源物理智能世界模型 PAN 2,支持图片加文字输入并生成最长 20 秒的未来场景推演。发布后社区演示其折射与时序一致性表现,11 月下旬博主实测称物理效果媲美 GTA 级场景。
2026-11-11 ~ 2026-11-22 · 4 集 · 29 条
第 1 集 · MBZUAI 开源世界模型 PAN 2,AI 行动前先模拟推演(2026-11-11,16 条)
MBZUAI 基础模型研究院(IFM,Eric Xing 团队)于 11 月 11 日发布开源基础世界模型 PAN 2,定位为面向物理智能的「开放权重」模型。团队提出世界模型应在「亚里士多德世界」而非「柏拉图世界」中运行——不是像语言模型那样预测下一个词,而是预测每个动作之后世界会如何演化,将预测锚定在时间、物理与空间维度上。核心能力是「模拟式推理」:让 agent 在行动前先在想象中推演「如果这样会怎样」,可对多个候选动作逐一模拟后再决策。这是「世界模型」从概念走向可复用开源底座的一次标志性发布,值得机器人与物理智能研究者关注。
已确认
- 架构基于生成式潜预测(GLP),采用双路分工:概念层由 LLM 推演接下来发生什么、如何达成目标;生成层为 29B 参数的潜扩散模型(双流多模态 diffusion transformer,推理骨架不包含在内),负责具体世界状态的预测生成。
- 使用方式:给定当前观测(可选图片+文本)与文本描述的动作,输出最长 20 秒、704x1248@24fps(约 720p)的视频,模拟场景在时间锚定的动作计划与相机运动下的演化,支持文/图生成视频。
- 评测方面,@rohanpaulai 转述模型评测中步准确率达 75.1%,多步规划任务完成率为 34%;演示场景包括用 29B 模型模拟机器人叠衣等物理任务。
- 训练数据为数百万小时的第一人称(自我中心)与机器人数据。
- 团队列出世界模型应具备的六个能力维度:遵循物理定律、历史连贯性、视线之外的持久性、符合约束、视角不变性等。
- 开放程度较高:采用 Apache 2.0 许可,权重已上架 Hugging Face,并集成进 Hugging Face Diffusers;据 IFM 在 Reddit 的发布帖(@Aggressive-Zebra-949 转述),训练代码也一并放出;vLLM 团队宣布提供零日(day-zero)支持。配套论文编号为 arXiv:2507.05169。
为什么重要
- PAN 2 将「世界模型」从概念推向可用的开源基础模型,为机器人与物理智能研究提供了可在行动前进行模拟推演的通用底座;Apache 2.0 许可、HF Diffusers 集成加上 vLLM 的零日支持,意味着部署与复现门槛都较低,社区可快速上手扩展。
- 开源世界模型 PAN 2 发布:预测动作后的下一个世界,vLLM 零日支持 — vllm_project · 2026-11-11
- MBZUAI 开源世界模型 PAN 2:LLM 规划+29B 扩散生成,步准确率 75.1% — rohanpaul_ai · 2026-11-11
- MBZUAI 开源世界模型 PAN 2,29B 参数模拟机器人叠衣 — rohanpaul_ai · 2026-11-11
- MBZUAI 开源世界模型 PAN 2:让 AI 先在模拟中推演再行动 — Scobleizer · 2026-11-11
- IFM 发布开源世界模型 PAN 2:预测「下一个世界」而非下一个词 — HongyiWang10 · 2026-11-11
- 29B 世界模型 PAN 2 上架 Hugging Face Diffusers,支持文/图生成视频 — rohanpaul_ai · 2026-11-11
- IFM 开源 PAN2 视频模型:29B 潜扩散架构,20 秒 720p,连训练代码都放出 — Aggressive-Zebra-949 · 2026-11-11
- IFM 发布开源世界模型 PAN 2,用数百万小时自我中心与机器人数据训练 — ZhitingHu · 2026-11-11
- Eric Xing 详解 PAN 2:GLP 架构与物理智能六维能力 — HeyAmit_ · 2026-11-11
- IFM 发布开源世界模型 PAN 2:预测动作后的世界状态 — HeyAmit_ · 2026-11-11
- IFM 开源 29B 世界模型 PAN 2:文字描述动作即可模拟未来 20 秒视频 — pmttyji · 2026-11-11
- 基础模型研究所IFM发布世界模型PAN 2:时间/物理/空间三轴 grounding — kimmonismus · 2026-11-11
- MBZUAI 发布通用世界模型 PAN 2,支持 agent 先模拟再行动 — kimmonismus · 2026-11-11
- IFM 发布开源世界模型 PAN 2,能预测动作后的物理世界变化 — nikola_mr64990 · 2026-11-11
- IFM 发布 PAN 2:预测「下一个世界」的物理智能开源基础模型 — heyshrutimishra · 2026-11-12
- 开源世界模型 PAN 2 发布:多步规划完成率 34%,可模拟动作后果 — rohanpaul_ai · 2026-11-12
第 2 集 · PAN 2 世界模型演示:折射、时序与空间一致性俱佳(2026-11-11,3 条)
IFM(Institute of Foundation Models)发布世界模型 PAN 2,kimmonismus 随后发布多段物理维度演示:玩具船在流水洗手池中经玻璃板后方折射与水流效果不穿帮;三个罐子按顺序注水时纸条严格按先后顺序吸水,体现时序因果;镜头跟随坠落的纸飞机全程场景保持空间一致,展示模型在物理与时空一致性上的能力。
- PAN 2时序演示:三个罐子按顺序注水,纸条按序吸水 — kimmonismus · 2026-11-11
- PAN 2物理演示:水龙头下玩具船过玻璃折射不穿帮 — kimmonismus · 2026-11-11
- IFM世界模型PAN 2演示空间一致性:纸飞机坠落全程场景不变 — kimmonismus · 2026-11-11
第 3 集 · MBZUAI 开源世界模型 PAN 2,可模拟物理世界变化(2026-11-13,2 条)
MBZUAI 基础模型研究所(IFM)发布通用世界模型 PAN 2:给定当前场景(可选图片加文字)和文字描述的动作,它能生成最长 20 秒的「世界接下来如何变化」的模拟视频。模型权重与推理代码已上线 Hugging Face,采用 Apache 2.0 协议开源,供研究和开发者使用。
- MBZUAI 开源世界模型 PAN 2:输入动作即可模拟物理世界走向 — LinusEkenstam · 2026-11-13
- PAN 2 权重与推理代码已上线 Hugging Face,Apache 2.0 开源 — LinusEkenstam · 2026-11-13
第 4 集 · PAN 2 开源世界模型实测:物理与一致性媲美 GTA 级场景(2026-11-22,8 条)
11 月 22 日,Linus Ekenstam 在等待 GTA 6 下载时对开源世界模型 PAN 2 进行了一轮密集实测,并在多条帖子中展示结果。他称模型的物理效果真实到像在迈阿密开车,整体质感可与 GTA 级驾驶场景相提并论。
已确认
- 模型背景:PAN 2 由 MBZUAI 基础模型研究所(IFM)开源,为 29B 参数通用世界模型,权重与代码已上传 Hugging Face,采用 Apache-2.0 协议。给定当前观测(可选图像+文本)和文字描述的动作,可生成最长 20 秒视频模拟世界变化。
- 混沌物理场景:Ekenstam 演示了开车冲进海里、警车追摩托车穿过湿滑小巷撞碎纸箱(摩托车在碰撞后仍保持一致)、怪物卡车碾压一排汽车、骑摩托车飞跃正在开启的吊桥等「如果……会怎样」场景。
- 时间演化与一致性:码头夜景缓慢过渡到黎明、一艘船驶出水面,展示长时间一致性;镜头跟随摩托艇穿越海湾时,城市天际线全程保持一致。
- 实时交互式世界生成:演示了实时生成式「游戏世界」,玩家跳过任务、骑摩托跳吊桥、开摩托艇横渡海湾,模型在持续交互与相机运动中维持场景连贯,而非预先制作的固定内容。
- 趣味发现:模型还能生成 GTA 里看不到的场景——司机老老实实等红灯。
尚未确认
- 以上表现均来自 Ekenstam 的演示与主观评价,尚无独立第三方复现或基准测试佐证。
为什么重要
- Ekenstam 借 Rockstar「GTA 6 是首款鼓励同理心的 GTA」的梗做混沌测试,直观展示了世界模型在碰撞物理、长时间一致性和大范围相机运动下的能力边界;他也指出混沌场景(如湿滑小巷警车追击撞纸箱堆)是世界模型的难点。叠加 PAN 2 完全开源(Apache-2.0),这类 demo 预示了生成式实时游戏世界的潜在方向。
- 开源世界模型 PAN 2 实测:物理质感媲美 GTA6 级驾驶场景 — LinusEkenstam · 2026-11-22
- PAN 2 玩法续集:摩托车飞跃开启中的吊桥 — LinusEkenstam · 2026-11-22
- 世界模型实时生成开放城市:玩家跳过任务去兜风也照渲染不误 — LinusEkenstam · 2026-11-22
- PAN 2 镜头跟拍摩托艇:城市天际线全程保持一致 — LinusEkenstam · 2026-11-22
- PAN 2 演示时间流逝:码头从黑夜缓慢过渡到黎明 — LinusEkenstam · 2026-11-22
- 怪物卡车碾压一排汽车:PAN 2 混沌场景压力测试 — LinusEkenstam · 2026-11-22
- PAN 2 还能生成 GTA 里看不到的场景:司机真的在等红灯 — LinusEkenstam · 2026-11-22
- MBZUAI 开源 29B 世界模型 PAN 2:权重代码已上 Hugging Face — LinusEkenstam · 2026-11-22