MBZUAI 发布 PAN 2 世界模型:29B 参数,连训练代码一并开源

ZhitingHu · x · 2026-11-20

MBZUAI 基础模型研究所(IFM)发布通用世界模型 PAN 2,采用 Apache 2.0 许可,同时放出权重、推理代码和训练代码——官方强调「只开放权重只是开放的最底线」。核心能力:给定当前观测(可选图片+文本)和文本描述的动作,PAN 2 以最长 20 秒视频模拟世界将如何变化,支持「模拟式推理」——智能体可先想象各候选动作的结果,再选最优方案执行。

架构(GLP,出自论文 Critique of World Models):LLM 负责概念推理,把下一步世界状态写成带时间戳的结构化描述(事件、绑定到角色的定时动作、镜头运动);一个 29B 参数、在数亿条同格式标注视频上从零训练的 MMDiT 扩散模型负责感知推理,补全细节并生成视频 latents,最后用 Wan 2.2 VAE 解码渲染。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →