宾大开源 HARMONY:单图重建 3D 场景比肩 GPT-6 Astra
thoma_gu · x · 2026-09-24
宾夕法尼亚大学团队发布开源框架 HARMONY，从单张室内照片重建可组合的 3D 场景，并配套 HARMONY300 基准（300 个场景）。
- 层级化 agentic 推理：VLM 智能体像 3D 艺术家一样分阶段搭建场景——先校准相机、恢复房间结构与布局，再依次放置墙面挂件、落地家具、家具上的附属装饰
- 自反思纠错：每放置一个物体就渲染对比输入图像，反思偏差并迭代修正，避免误差累积；对家具采用深度优先遍历
- 结果：即使搭配较旧的 VLM 骨干，视觉质量仍可与 GPT-6 Astra 打平，同时几何对齐度更好
论文、代码、数据与基准均已开源，项目页见 cwchenwang.github.io。
所属事件:宾大开源 HARMONY：单图重建 3D 场景(3 条相关)→
「多模态」频道最新
- 一条创意 prompt 让 Claude 自编电影开场字幕动画 — goodside · 2026-09-24
- Suno Studio 支持在时间线上直接录音,边录边做音乐 — suno · 2026-09-24
- MiniMax H3 更新后生成同规格视频耗时从 40 分钟涨到 77 分钟 — carmidian · 2026-09-24
- 研究者业余将主流视频生成模型从 PyTorch 移植到 Jax 适配 TPU — ceciletamura · 2026-09-24
- Qwen Image 2.1 局部重绘实操:接线与提示词差异全解析 — Reasonable_Arm7239 · 2026-09-24
- H3 Max 空间重排工具的意外伪影生成油画质感画面 — adamho · 2026-09-24