专题 · FULL STORY

World Labs发布Atlas:全模态世界模型登场

李飞飞创立的World Labs于9月2日正式发布全球首个全模态世界模型Atlas,原生统一处理文本、图像、视频与3D输入,加速机器人训练。随后社区围绕其3D表征能力展开验证,三位联合创始人进一步阐释新视角预测作为AGI基础原语的愿景。

2026-09-02 ~ 2026-09-09 · 5 集 · 87 条

第 1 集 · 李飞飞 World Labs 发布全模态世界模型 Atlas(2026-09-02,64 条)

9 月 2 日,李飞飞创立的 World Labs 正式发布下一代世界模型 Atlas,官方称其为全球首个多模态世界模型,定位为面向空间智能的全模态世界模型(omni world model),数周内开放早期访问。社区反应普遍积极,多位演示者展示了单图 3D 场景补全、三机位 4D 重建、机器人仿真数据生成等此前难以实现的能力,被视为空间智能方向的标志性进展。

已确认

  • 架构:Atlas 基于单一统一架构——一个从零预训练的多模态自回归扩散 Transformer,融合了现代 LLM 与视频模型在架构、算法与系统层面的进步;所有输入模态汇入共享「空间上下文」,生成结果在 3D 上保持一致。
  • 模态与能力:原生处理文本、图像、视频、相机姿态与深度等多种模态(含 3D 输入),从场景输入中构建持久空间理解,不仅能重建观察到的内容还能生成未见部分;可从单张输入图像重建并补全大场景(XRarchitect 演示了单图生成完整 3D 场景,技术栈结合 Atlas、spark.js 与 three.js);通过重构视频模拟时空;原生输出 3D 空间;可将多张姿态图像合成为一致的 3D 世界;生成图像与视频帧时支持像素级相机控制,视频最长 1 分钟、分辨率可达 1440p;支持基于相机控制的稀疏帧生成,用户只需提供几张图像和确切相机位姿即可生成一致的 3D 帧。
  • 4D/动态重建:markk 演示仅用 3 台摄像机输入即可重建高保真 4D 视频,认为这种效果此前完全不可能实现;venturetwins 也展示了基于三台手机固定机位素材重建完整场景、从全新角度重新拍摄视频的能力,认为这突破了传统拍摄限制,为影视创作和后期制作带来革命性可能。
  • 3D 重建表现:据转发内容(含李飞飞转发 Justin Johnson 的发布),Atlas 从单张到多张输入图像显式输出 3D 结构,性能超越顶级开源重建模型,且随输入图像增多、上下文更丰富,幻觉更少。
  • 机器人仿真:据 World Labs 官方介绍,只需少量照片即可重建一个空间,并生成任意轨迹下机器人传感器会观测到的照片级 RGB 与深度数据,使机器人能在远多于以往的空间中训练与测试,还指向 Real-to-Sim 应用前景。
  • 影视应用:Jon Barron 转述团队演示称,利用 Atlas 对空间结构与时间演变的理解,用少量普通相机(演示中约 35 部手机)即可搭建「子弹时间」多视角拍摄工作室,捕捉冻结时间的动态瞬间,还能补全相机实际未拍到的场景并在时间静止状态下重新构图运镜;minchoi 亦演示了将其用于体育分析等场景。
  • 业界评价:BenMildenhall 指出 Atlas 不只是强大的文生图生成器,还具有丰富的「世界知识」,在单视图和多视图任务上均具通用性,可在高度风格化场景中做精确 3D 控制;mildlyphd 等亦认为公开演示效果相当不错,具体可用性细节仍待官方披露。

尚未确认

  • 公开演示之外的具体能力边界、定价与开放范围等细节尚未由官方完整披露,早期访问的实际体验有待观察。

为什么重要

  • Atlas 将世界生成从平面图像/视频推进到原生 3D 空间与时空模拟,是空间智能方向的代表性进展。
  • 其传感器级仿真数据生成能力直接面向机器人训练这一高价值场景,有望显著扩展机器人可测试环境的规模与多样性;低成本多视角重建能力也为影视创作、体育分析与后期制作打开了新空间。

还有 44 条相关讨论 →

第 2 集 · World Labs 发布 Atlas 世界模型加速机器人训练(2026-09-02,4 条)

李飞飞联合创立的 World Labs 发布专注于空间智能的多模态世界模型 Atlas,可将少量现实场景录像转化为可控物体、运动、灯光与环境的交互式仿真,实现 real2sim2real 流程。业界评论认为,这一能力有望加速人形机器人在工厂、仓库、建筑工地等真实场景的训练与部署,使其进入工作场所前即可在仿真中重建场景并捕捉物体交互。

第 3 集 · 社区验证:Atlas 输出可蒸馏出显式 3D 网格(2026-09-02,4 条)

围绕 Atlas 模型能否还原显式 3D 表征,社区展开技术探讨。Keenan Crane 提出疑问后,有网友验证了 Atlas 的输出足够可靠,可以蒸馏出显式表面网格,且提取网格的法线与 3DGS 渲染结果高度一致,尤其适用于单图生成场景。讨论还指出 3DGS 的视觉细节多来自着色而非精细几何,Crane 补充认为显式网格可能是比 3DGS 更好的重建目标,因为后者主要重现外观。

第 4 集 · 李飞飞团队发布世界模型 Atlas,新视角预测成 AGI 基础原语(2026-09-04,10 条)

World Labs 于 9 月初发布「全球首个」多模态世界模型 Atlas 后,三位联合创始人李飞飞、Justin Johnson、Ben Mildenhall 做客 a16z 播客,与 Martin Casado 深入对谈模型技术思路与空间智能路线判断。量子位等媒体报道称,李飞飞将「新视角预测」定位为 AGI 的基础原语,相关内容在社交平台引发广泛转发讨论。

已确认

  • Atlas 的核心能力是「新视角预测」:基于少量输入(如 3 张照片)生成新视角的图像与视频帧,支持像素级相机控制,并可将内容在 3D 空间中重建,即 3 张照片即可重建整个房间
  • 架构类比:LLM 基于下一 token 预测、视频模型基于下一帧预测,Atlas 将预测扩展到新视角/空间维度
  • 据pstAsiatech转述,Atlas 是从零预训练的 omni 模型,原生处理文本、图像、视频与 3D,架构为多模态自回归扩散 Transformer,所有输入汇入共享空间上下文,在 3D 上保持一致性并可想象视野之外的内容
  • 演示包括用三台 iPhone 复刻「子弹时间」效果;团队称传统 3D 采集成本可降低 50-100 倍
  • 多位转发者(ChrisArmstrong、drfeifei、theworldlabs 等)转述的均为同一 a16z 对谈内容,信息一致;NinaDSchick 的转述还回顾了李飞飞从北京出生、成都长大、16 岁赴美、全家经营干洗店、普林斯顿全奖读物理、Caltech 博士,到押注数据而非算法(ImageNet 1400 万张标注图催生 2012 年深度学习突破)的经历

为什么重要

  • 「新视角预测」被视为可能是继 token prediction 之后的下一个建模范式,被李飞飞团队定位为 AGI 的基础原语,是空间智能方向的关键判断
  • 若 3D 场景重建成本真如宣称下降 50-100 倍,将大幅降低游戏、影视、机器人仿真等领域的内容生产门槛
  • 李飞飞此前以 ImageNet 推动深度学习起飞,其团队再次押注「数据/新范式优先」路线,方向选择本身具有风向标意义

第 5 集 · World Labs 发布全模态世界模型 Atlas(2026-09-07,5 条)

李飞飞创办的 World Labs 发布新一代全模态世界模型 Atlas。这是一个从零预训练的 omni 模型,原生统一处理文本、图像、视频和 3D 输入,采用多模态自回归扩散 Transformer 架构,所有输入合并进共享空间上下文,生成过程中保持 3D 一致性,且随训练算力扩展性能持续提升。它标志着世界模型从生成视频片段迈向生成真正可导航、可交互的三维世界。

已确认

  • Atlas 从零预训练,原生支持文本、图像、视频与 3D 多种模态,架构为多模态自回归扩散 Transformer,输入合并进共享空间上下文(@thione、@theworldlabs)。
  • 模型可输出 1440p 视频和显式 3D 内容,生成时保持 3D 一致性,并随训练算力扩展(@theworldlabs、@thione)。
  • Atlas 自回归逐帧生成,通过构建输入图像与已生成帧的空间上下文维持 3D 一致;团队优化出实时生成版本,用户可交互式探索即时生成的世界,还能将真实世界照片融入生成(@theworldlabs)。
  • 据 @Matt Wolfe 体验介绍,Atlas 能从一张照片重建完整的三维环境,用户可自由控制相机、从全新角度探索场景;他强调这不是 AI 视频,而是真正可导航的世界。模型还支持输入多张图片,融合成一个更大的可导航场景。
  • Atlas 支持 Real-to-Sim 转换(@theworldlabs)。

为什么重要

  • 世界模型首次以 omni 架构原生融合文、图、视频与 3D,统一了此前分散的生成能力。
  • 实时可交互探索与单照片 3D 重建,使生成内容从被动观看的视频升级为可导航世界,对游戏、仿真与机器人训练(Real-to-Sim)等场景有直接应用价值。