NVIDIA GATOR:生成加 agent,杂乱照片重建可仿真 3D 物体

GATOR: Generative and Agentic 3D Object Reconstruction From Casual Images

Qirui Wu, Stan Birchfield, Hesam Rabeti, Angel X. Chang, Bowen Wen

cs.CV, cs.RO

2026-10-08

NVIDIA 的 GATOR 用生成模型打底、GPT-6 agent 修补，从杂乱随手照片重建带位姿的完整 3D 物体，真实桌面数据倒角距离约为 Pixal3D 一半。

这篇在解决什么

把随手拍的照片变成能用的 3D 资产：完整几何、带纹理，还要有物体在场景里的位姿，能放回原场景做仿真或编辑。casual 图像难在具体处：目标埋在桌面杂物或房间角落里，被遮挡，只从几个不规则视角拍到，背面完全看不见，相机、深度、mask 全靠估。

现有两条路各卡一半。生成式重建(LRM、TRELLIS.2、SAM 3D)靠先验补看不见的背面，补得视觉上过得去，和真实物体可能差很远；图像、mask、几何各自独立编码喂进模型，对应关系要靠去噪器自己猜。纯 agent 路线让 GPT-6-Astra 写 Blender 脚本，结构和材质可控，但从零造资产要反复调 API、渲染，又慢又贵，细粒度几何也撑不住：图 1 里滤网碗被生成模型填得不准，agent 则把把手和提耳简化成粗糙形状。GATOR 把两条路接起来，生成模型先出完整、场景对齐的草稿，agent 在这个底子上做定点修补。

方法

生成段建在 TRELLIS.2 的「结构、几何、外观」三段级联上：

N 张图(任意视角数)编码到同一张 patch 网格：RGB 和目标 mask 用冻结的 DINOv3,pointmap(深度反投影的逐像素 3D 坐标)用可训练编码器。
核心是 local modality mixer:在跨视图注意力之前，先让每个 patch 内 RGB、mask、pointmap 三路 token 互做注意力。三者在 patch 上本来就对齐，这个已知对应关系直接写进融合结构，省得去噪器重新学；三路放一起看，还能拿外观和 mask 交叉校验深度，对上游估计误差更鲁棒。RGB 和 pointmap 保留场景上下文，补被挡部分用得上；mask 标出目标。结构段看完整画面以判断遮挡，几何和外观段只从 mask 后的图投影特征，遮挡物不漏进纹理。
文本贯穿三段：结构段用 SigLIP2 编码类别名做全局调制，几何和外观段用 T5Gemma2 编码的描述做 cross-attention。视角稀疏、补全有多种可能时，类别语义往一致方向拉。
位姿：归一化只平移缩放、不旋转，输出保持场景朝向；之后用可微渲染对照轮廓和深度精化平移与尺度。
只用合成数据训练：约 98 万个资产拼成程序化杂乱场景(S3 流水线)，训练时混入扰动或图像估计的相机和深度，模拟真实拍摄误差。

agent 段把生成资产、输入图像和 Blender 交给 GPT-6-Astra(Codex 命令行、extra-high 推理档)。它自己决定修什么：补缺失结构、修拓扑、改 UV 和材质，含文字 logo 的清晰度；每次编辑后在匹配相机和光照下对比编辑前后渲染，变差就回滚，预算内选最优。主实验每物体 10 分钟，生成模型全程不重训。

结果

基准	指标	GATOR	最强基线
Toys4K,4 视图	CD / F1	0.009 / 0.757	Pixal3D-MV 0.011 / 0.701
真实桌面(LM-O+HB+HANDAL)	CD / F1 / LPIPS	0.009 / 0.904 / 0.140	Pixal3D CD 0.018,MV-SAM3D F1 0.780
ScanNet++,229 物体、49 场景	CD / F1	0.031 / 0.603	RecGen 0.041 / 0.540
位姿，未对齐直接测	[email protected]	HANDAL 96.36%,ScanNet++ 95.63%	ScanNet++ 次优 90.83%

ScanNet++ 上相机、深度、mask 全是估计值(mask 来自 SAM3),GATOR 的 CD 比次优 RecGen 低 23%,且全部指标超过从零建模的 GPT-6-Astra。消融在 55 个 HANDAL 物体上逐个加组件:modality mixer 主要把 ADD-SB 从 0.057 降到 0.037,提升的是对估计误差的鲁棒性；文本条件九项全涨(F1 0.872 到 0.930);agent 精化主要涨外观(PSNR 18.93 到 19.60)。

效率数字最直观：纯生成约 0.5 分钟(生成计算约 32 秒)，已优于拿 20 分钟预算的 GPT-6-Astra;后者 1 分钟预算下 10 个物体 0 个产出有效资产，2 分钟 5 个，5 分钟起才全部有效。只看两个视角的 GATOR,CD 约为用八个视角的 Pixal3D 的一半。

为什么重要

做机器人仿真、场景重建、数字资产的人，casual 照片直接产出带 PBR 材质、带场景位姿的可仿真物体，不再需要孤立拍摄和标定。四个真实数据集零微调泛化，靠的是合成数据加误差注入的配方，这个配方本身可以搬走。

方法论上，这是个干净的「生成打底、agent 修补」案例：agent 不从零建模，在实例级几何和位姿上做局部编辑，时间可控、可回滚、不动生成模型权重，对其他 3D 生成任务应该可迁移。也说实话：干净合成数据上对最强基线的提升是渐进的(Toys4K CD 降 19.7%),真正拉开差距的是杂乱真实场景(桌面 CD 减半)和位姿恢复，后者不少基线根本不输出。

局限与存疑

agent 精化对平均几何指标帮助有限，HANDAL 上 CD、F1、IoU 还略降；论文的解释是编辑局部、利好仿真但指标反映不出，仿真收益的量化放在补充材料。
依赖外部估计:相机和深度来自 Pi3X 一类估计器，ScanNet++ 的 mask 来自 SAM3,mixer 只是更容忍误差，没有消除；归一化不旋转坐标系，恢复公制尺寸需要公制尺度的深度输入。
agent 段跑在商业 API 上，每物体 10 分钟的成本没折算成钱，可复现性受限；从零 GPT-6-Astra 基线被论文标为「完全专有」，各对比表把它排除在最优标记之外。
消融只有 55 个物体，规模偏小；桌面位姿召回上 GPT-6-Astra 拿了 100%,GATOR 是 98.47%,个别格子仍是专有模型占先。

术语

pointmap:深度反投影出的逐像素 3D 坐标，给模型直接的几何证据。
modality mixer:让 RGB、mask、pointmap 在 patch 内互做注意力的融合模块，GATOR 的核心改动。
PBR 材质：基于物理渲染的材质，含反照率、粗糙度、金属度贴图，仿真引擎直接可用。
TRELLIS.2:按「结构、几何、外观」级联生成 3D 资产的模型，GATOR 的底座，结构去噪器从其 1.3B 检查点初始化。
ADD-SB:同时量形状和位姿的双向表面距离，@0.1 是距离小于参考直径 10% 的召回率。
chamfer distance(CD):两网格双向最近距离的均值，量几何重建精度，按参考直径归一。

原文与代码

社区讨论

NVIDIA 开源 GATOR:随手照片秒变可仿真 3D 物体 AjayMandlekar