李飞飞 WorldLabs 发布世界模型 Atlas,1-6 张照片生成可漫游 3D 世界
APPSO · wechat · 2026-09-02
李飞飞创办的 WorldLabs 发布面向空间智能的全模态世界模型 Atlas,从零预训练,原生处理文本、图像、视频、相机位姿与 3D 深度,在同一模型内完成世界生成、空间重建和时空模拟。
核心能力
- 相机控制生成:把相机位姿参数作为原生输入,1-6 张普通照片即可生成长达 1 分钟、1440p 的视频,运镜精准、空间几何一致;两张不相关照片也能被「脑补」焊成连续可漫游的三维场景。
- 空间重建:斯坦福 Main Quad 案例仅需 2-25 张游客平拍照片即可还原细节并支持航拍漫游;稀疏视角重建误差(AbsRel×10⁻³)达 25.3,优于 Pi3X(28.7)、DepthAnything3(39.3)、MapAnything(47.7),输出直接对接点云与 3DGS,接入自家 Marble 平台即时渲染。
- Reframing Video:三五个普通手机/运动相机随手一拍,即可在虚拟空间随意切换视角,复刻「子弹时间」。
技术底座:多模态自回归扩散 Transformer,兼取自回归(逐级预测空间状态)、扩散(Rectified Flow 去噪保画质与几何)与 Transformer(适配大规模算力)之长,可复用 KV Cache、分布式推理与扩散蒸馏优化。镜头控制盲测中,对 MiniMax H3 胜率 75%、Gemini Omni Flash 81%、FLUX3 93%、Seedance2.5 94%。
面向机器人:Atlas 的 Real-to-Sim 路线瞄准具身智能的仿真数据瓶颈——传统采集足够机器人训练数据的成本估算可达百万亿美元量级;现在手机拍两段 24 帧视频即可生成高精度 3D 物理空间,模拟 RGB、深度与受力反馈,衍生千万种光照、摆放与障碍条件。官方还强调模型随参数量与算力翻倍出现类似 LLM 的涌现能力。目前 Atlas 已向部分合作伙伴开放 Early Access,将作为 Marble 等产品的底层模型。
所属事件:李飞飞 World Labs 发布全模态世界模型 Atlas(64 条相关)→
「具身」频道最新
- Meta 眼镜新玩法:AI 报跑步路线配 Google Maps 生图 — IanAndrewsDC · 2026-10-18
- Khala 机器人报告:全球仅 30 万小时操作数据,Axis 撬动 700 万条轨迹 — 0xSammy · 2026-10-18
- 登山辅助外骨骼落地中国景区:称降低膝盖受力 3~5 倍 — JacquesThibs · 2026-10-18
- 已有21人植入 Neuralink:意念打游戏、机械臂吃零食成现实 — Aiden_Tech_Ai · 2026-10-18
- 4米高吨级液压人形机器人 Neo1 亮相,41自由度双臂载荷500公斤 — lukas_m_ziegler · 2026-10-18
- VAST 开源 EdenLive:单卡 RTX 5090 实时生成式渲染超 24FPS — 机器之心 · 2026-10-18