Puffin-World 开源：原生带几何与物理的 3D 世界模型
ccloy · x · 2026-09-03
南洋理工大学 Kang Liao、Xiao-Ming Wu、Chen Change Loy 等发布 Puffin-World，一个统一多模态世界模型，在单一框架内完成 3D 世界的感知、模拟、生成与重建。
核心思路是不只输出看似合理的像素，而是用三种原生世界状态表示场景：
- 物理：重力场与纬度，把观测锚定到真实世界
- 几何：深度，刻画底层 3D 空间结构
- 外观：图像与序列，描述观察者所见
借助 Omni-Camera 表示，模型支持相机到世界的理解、可控相机的文生图、图像/文本到 3D 世界生成、复杂相机轨迹下的生成、原生几何预测和 3D 重建，无需外挂离线感知或重建模块。训练数据集 Puffin-16M 覆盖多样相机配置与困难轨迹。
代码、模型与数据均已开源。
所属事件:南洋理工开源 Puffin-World 原生 3D 世界模型(3 条相关)→
「多模态」频道最新
- 前 Brain Games 主持 5 天用口述产出 25 分钟 AI 电影「vibe directing」 — lmoroney · 2026-10-21
- Motion 发布通用视频 Agent：剪片、动效设计、仿任意参考视频风格 — mhdfaran · 2026-10-21
- 蚂蚁开源 5 个 Ming-3.0 语音模型：TTS、音频理解与方言 ASR — Med1_Ai · 2026-10-21
- AI 网红视频留存秘诀:强钩子+视觉一致性+悬念设计 — aftahi_ai · 2026-10-21
- Flova 的 MORPHJUTSU 技能让角色复用任意视频的运动节奏 — aftahi_ai · 2026-10-21
- NVIDIA 开源 MotionBricks:单模型生成 35 万动作技能,2ms 延迟 — aftahi_ai · 2026-10-21