NVIDIA 开源 GATOR:随手照片秒变可仿真 3D 物体
AjayMandlekar · x · 2026-10-11
NVIDIA 研究团队发布 GATOR,一种「生成 + 智能体」式 3D 物体重建方法:输入随手拍摄的照片,即可输出仿真可用的 3D 资产,并演示了人形机器人在 GATOR 重建的家具上做交互(倒水等物理仿真)。
方法要点:
- Pose-aware 模态混合:局部注意力在跨视角推理前融合对齐的 RGB、目标 mask 与 pointmap 特征,支持杂乱场景中的完整物体重建;
- 文本引导生成:分阶段适配器用类别名引导稀疏结构、物体描述引导几何与外观,结合投影图像特征恢复细节纹理与基于物理的材质;
- Agentic 精修:智能体在 Blender 中执行「编辑-渲染-审查」循环,依据原图证据修复结构、拓扑与纹理,同时保留可靠的几何与位姿,无需重训生成器即可提升仿真就绪度。
论文已发布,代码即将开源。
「多模态」频道最新
- ZPix 集成 Qwen-Image 2.1 Turbo，带修复棋盘伪影的 VAE — SamuelTallet · 2026-10-11
- Krea2 Turbo 2 步蒸馏 LoRA 终版：速度 4 倍，细节达教师模型 92% — TimeTruth2490 · 2026-10-11
- 开发者发布 CUT:AI 角色、配音与时间轴的场景创作工具 — rileygstaliger · 2026-10-11
- Kling 4 Flash 实测：21:9 宽幅 720p 生成外星人短片 — Forsaken_Stuff_Ai · 2026-10-11
- 全 AI 生成 3D 场景演示：TripoSplat 建资产，Claude 配景配音 — willeastcott · 2026-10-11
- 开源 MCP 服务器让 Claude Opus 5.5 端到端写出 2 分钟完整音轨 — delarein · 2026-10-11