UPenn 提出 HARMONY:分层 agentic 推理从单图重建室内 3D 场景
upenn · hf · 2026-09-24
宾夕法尼亚大学发布 HARMONY,结合 agentic 推理与视觉几何基础模型,从单张室内图像重建完整 3D 场景。
方法要点:
- 层级思维链框架:从空 3D 户型图起步,先对相机做语义化标定,再用 VLM 推理恢复房间布局与摆放顺序
- 分层放置物体:墙面元素 → 独立家具 → 家具上的附属装饰;家具按深度优先遍历,每次放置都以上一步结果为条件
- 反思反馈回路避免误差累积;每次放置后用点云估计做几何精化,使渲染图与输入对齐
效果:在合成与真实图像上均优于对比基线;与 GPT-6 Astra 的定性对比显示物体摆放更合理、场景细节保留更好。
所属事件:宾大开源 HARMONY：单图重建 3D 场景(3 条相关)→
「研究」频道最新
- DeepMind 发布 AI 基因学模型，拟加速癌症糖尿病研究 — Polymarket · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- AlphaGenome2 达 SOTA：从梯度预测中链接增强子与靶基因 — anshulkundaje · 2026-11-12
- AG2 消融实验：条件调制需进入编码器，eQTL 召回率近乎翻倍 — anshulkundaje · 2026-11-12
- 作者吐槽 CHI2027 评审:自认 ADR 论文优于所审稿件 — windx0303 · 2026-11-12
- 谷歌发布 AlphaGenome 2:预测 DNA 变异对特定细胞类型的影响 — sundarpichai · 2026-11-12