IFM 开源 29B 世界模型 PAN 2:文字描述动作即可模拟未来 20 秒视频

pmttyji · reddit · 2026-11-11

IFM 在 Hugging Face 发布通用世界模型 PAN 2:给定当前观测(可选图片+文本)与文本描述的动作，输出最长 20 秒、704x1248@24fps 的视频，模拟世界对动作的响应，支持「模拟推理」——智能体可先模拟各候选动作的结果再择优执行。

架构上沿用 Generative Latent Prediction(GLP):LLM 作为概念推理骨干，把观测与动作写成结构化、带时间戳的世界状态描述(事件、绑定角色的定时动作、镜头运动)；29B 参数的 MMDiT 扩散骨干(从零在数亿条同格式标注视频上训练)负责补全描述之外的感知细节，预测视频 latent;文本编码器为 Qwen3.5-9B(冻结),VAE 用 Wan 2.2 解码渲染。单个 checkpoint 同时支持 t2v 与 i2v,BF16 精度，权重、代码与博客均已公开。