NVIDIA 发布 GATOR:普通照片生成式+智能体重建 3D 物体
nvidia · hf · 2026-10-13
NVIDIA 与 Simon Fraser 大学发布 GATOR 框架,可从一张或多张随手拍摄的照片中重建完整、带纹理、场景对齐的 3D 物体资产及其场景相对位姿。
核心方法
- 局部模态混合器:在跨视角推理前融合 patch 对齐的 RGB、目标掩码与 pointmap 特征,保留场景上下文并区分目标与背景。
- 文本语义条件化:通过阶段专属 adapter 引入类别名与物体描述,分别控制结构、几何与外观生成。
- 多模态智能体精修:生成资产初始化一个 agent,在「观察引导的编辑-渲染-审查」循环中做针对性结构与纹理优化。
论文对比纯生成式模型(网格碗形状填充不准)与纯 agentic 方法(位置和细节出错),显示生成+智能体结合效果最好;在合成物体、桌面杂物与室内场景上均达到较高几何与外观保真度,并验证了时间预算下的重建效率与仿真可用性。
所属事件:NVIDIA 开源 GATOR：随手照片秒变可仿真 3D 物体(3 条相关)→
「具身」频道最新
- 在双臂精密插装任务上微调 reward model,进度预测接近完美 — DominiqueCAPaul · 2026-10-13
- 五款前沿模型标注机器人视频，最好的 GPT-6 Astra 全对率仅 43.5% — kimberlywtan · 2026-10-13
- 港大提出 JoHan：视频生成式联合恢复 2D-3D 手部运动更流畅 — HKUCDS · 2026-10-13
- Microduck 小机器人地毯实测三分钟无剪辑视频 — andimarafioti · 2026-10-13
- Asimov 开源人形机器人 Menlo SDK:可 VR 遥操作、回放动作、跑自训策略 — MarwaEldiwiny · 2026-10-13
- DirtyMoCap 用 AI 修复脏动作捕捉数据，CUDA 求解器快 100 倍 — petewoodbridge · 2026-10-13