新论文 IMAGIREP:想象不见得要用 RGB,深度图和俯视图更能帮空间推理
mohitban47 · x · 2026-10-28
论文《Representing the Unseen: Rethinking Visual Imagination for Spatial Reasoning》探讨世界模型如何向智能体呈现「想象出的环境」。
- 现有做法多用生成的未来 RGB 视图,但作者发现:即使在远距离物体问答上加入真值(oracle)终点 RGB 视图,准确率反而下降;换成同一想象状态的深度图或俯视图却能提升表现。
- 结论:问题不只是「要不要想象」,而是「用什么表征来想象」。
- 团队提出 IMAGIREP:一个受控基准,固定想象状态和问题,只改变表征形式(RGB、深度、法线、全景、俯视、文本、视频),结果显示不同问题受益于不同表征,且该收益在状态为估计值时依然成立。
所属事件:新论文:深度图与俯视图比 RGB 更利于空间推理(3 条相关)→
「研究」频道最新
- TF 结合位点可视化工具新增搜索栏,联动三方图与 ESM2 嵌入 — jmschreiber91 · 2026-10-29
- ESM2嵌入+联动三方图:直观定位你的蛋白质与基序 — jmschreiber91 · 2026-10-29
- 转录因子-基序数据库推出交互式筛选:按家族、来源、置信度过滤 — jmschreiber91 · 2026-10-29
- 预印本实测:人类审稿仅发现 27% 重大错误,15 个 AI 全部超越 — anshulkundaje · 2026-10-29
- 新论文反驳 HPS 构想:量子密码可在无经典单向函数世界独立成立 — StefanoGogioso · 2026-10-29
- 微软研究院 AI4Science 团队招博后,为 Skala 生成多样化分子数据 — FrankNoeBerlin · 2026-10-29