Puffin-World 发布:单图生成物理一致的3D世界并开源
CSProfKGD · x · 2026-09-04
Puffin-World 技术报告发布
南洋理工 Kang Liao、Chen Change Loy 等人发布统一多模态世界模型 Puffin-World,并开源论文、代码、模型与数据。
核心内容:
- 从单张图片或文本 prompt 出发,联合建模三种原生世界状态:物理(重力场与纬度)、几何(深度)与外观(图像),生成相机可控视角并重建为可探索的 3D 世界,无需外部离线模块
- 提出 Omni-Camera 统一表示,支持多样任务与灵活运镜,将绝对相机属性锚定在真实世界,实现物理一致且视觉稳定的生成
- 引入跨未来帧传播物理动力学的策略,支持模仿、自校准世界探索等闭环应用
- 配套 Puffin-16M 数据集:1500 万视觉-语言-相机三元组 + 100 万条含复杂运镜的轨迹
论文:arXiv 2609.04196
所属事件:南洋理工开源 Puffin-World 原生 3D 世界模型(3 条相关)→
「多模态」频道最新
- Fibo 2.0 上线：登顶开放权重图像编辑模型榜首 — bdsqlsz · 2026-10-21
- 蚂蚁开源 5 个 Ming-3.0 语音模型：TTS、音频理解与方言 ASR — Med1_Ai · 2026-10-21
- AI 网红视频留存秘诀:强钩子+视觉一致性+悬念设计 — aftahi_ai · 2026-10-21
- Flova 的 MORPHJUTSU 技能让角色复用任意视频的运动节奏 — aftahi_ai · 2026-10-21
- NVIDIA 开源 MotionBricks:单模型生成 35 万动作技能,2ms 延迟 — aftahi_ai · 2026-10-21
- Runway 入驻 Claude Marketplace,企业可划拨 Anthropic 预算买视频生成 — runwayml · 2026-10-21