Puffin-World 开源：原生带几何与物理的 3D 世界模型
ccloy · x · 2026-09-03
南洋理工大学 Kang Liao、Xiao-Ming Wu、Chen Change Loy 等发布 Puffin-World，一个统一多模态世界模型，在单一框架内完成 3D 世界的感知、模拟、生成与重建。
核心思路是不只输出看似合理的像素，而是用三种原生世界状态表示场景：
- 物理：重力场与纬度，把观测锚定到真实世界
- 几何：深度，刻画底层 3D 空间结构
- 外观：图像与序列，描述观察者所见
借助 Omni-Camera 表示，模型支持相机到世界的理解、可控相机的文生图、图像/文本到 3D 世界生成、复杂相机轨迹下的生成、原生几何预测和 3D 重建，无需外挂离线感知或重建模块。训练数据集 Puffin-16M 覆盖多样相机配置与困难轨迹。
代码、模型与数据均已开源。
「多模态」频道最新
- NoSpoon 音乐视频 Alpha 实测:一段提示词加三张图出成片 — Kyrannio · 2026-09-03
- GPT Image 2 + Seedance 2.5 实测：AI 生成以假乱真的 UGC 护肤品广告 — tsi_org · 2026-09-03
- Induce AI 推出 Rhapsody 1.0:AI 视频下一战是场景控制与故事状态 — aliscodes · 2026-09-03
- AI 复刻 90 年代浪漫喜剧画风，还混入现代医美脸 — venturetwins · 2026-09-03
- 3 个 prompt 生成类使命召唤游戏,rileybrown 晒成本 — minchoi · 2026-09-03
- Fable 5.1 走红:用户用它造出整批游戏与虚拟世界 — minchoi · 2026-09-03