宾大开源 HARMONY:单图重建 3D 场景比肩 GPT-6 Astra
thoma_gu · x · 2026-09-24
宾夕法尼亚大学团队发布开源框架 HARMONY，从单张室内照片重建可组合的 3D 场景，并配套 HARMONY300 基准（300 个场景）。
- 层级化 agentic 推理：VLM 智能体像 3D 艺术家一样分阶段搭建场景——先校准相机、恢复房间结构与布局，再依次放置墙面挂件、落地家具、家具上的附属装饰
- 自反思纠错：每放置一个物体就渲染对比输入图像，反思偏差并迭代修正，避免误差累积；对家具采用深度优先遍历
- 结果：即使搭配较旧的 VLM 骨干，视觉质量仍可与 GPT-6 Astra 打平，同时几何对齐度更好
论文、代码、数据与基准均已开源，项目页见 cwchenwang.github.io。
所属事件:宾大开源 HARMONY：单图重建 3D 场景(3 条相关)→
「多模态」频道最新
- 商汤开源 SenseNova 6.8 Code2Video:用代码生成可编辑视频 — anthara_ai · 2026-11-11
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- 用 Opus 5.5 做 RPG：扮演博士生对抗审稿人 — s_scardapane · 2026-11-11
- 开源 Node 把 ComfyUI 工作流变一键模型，内置 19 个工作流 — jefoce · 2026-11-11
- RTX 3050 6GB 本地跑 MiniMax H3，拼出 60 秒 AI 视频 — No_Cow26 · 2026-11-11
- 把两年前的噩梦做成 72 秒短片，100 秒视频只花 $3.8 — Alternative-Pay-447 · 2026-11-11