SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?
Zhaoxi Zhang, Hao Liang, Linxuan Wu, Yiming Wu, Yifu Yuan, Kun Liang, Chenming Tang, Meiyi Qiang, Wentao Zhang, Weikang Li
cs.CV, cs.CL
2026-10-20
VLM在80个场景里主动标出3140个物体中心，最强平均IoU仅41.71%，IoU>0.9只占3.25%。
空间问答看的是选项有没有选对。左右、远近、计数，候选有限，猜、排除或者语言先验都能蒙对。蒙对不等于已经有一张能用来走路或抓取的三维地图。人在房间里找东西，要自己定下一眼看哪，把不同画面里的同一个物体对上，估出统一坐标系里的位置，再靠这张图决定后面看什么。
ESI-Bench 和 S3-Bench 把主动观察加进问答，Theory of Space 考离散认知地图。答案对，坐标仍可以是错的。SpatialScout 直接给主动建成的物体中心地图打分：同一个坐标系，自己选视点，交米制坐标。
80 个室内场景、3,140 个目标，用 SAPIEN 经 ManiSkill3 渲染，场景来自 iTHOR、RoboTHOR、ArchitecTHOR、ReplicaCAD 和 ProcTHOR。场次是 12 场 35 个目标、68 场 40 个。1,489 个处在同场景多实例等价组里，重复类别容易配错。搜索半径 1.95 到 9.23 米。清单外的物体在渲染时被藏掉。
模型只拿到清单、首帧、内参、位姿和半径，拿不到真值。原点在初始相机，+x 朝前，+y 朝左，+z 朝上。提交值是目标中心的米制坐标，须落在半径加 0.5 米内。中心取紧致轴对齐包围盒的中点，避免用资产自身原点，那个原点经常不落在可见几何上。关节物体先合并连杆。能点到的是表面，中点多半在体内，三角化后还要按轮廓回推。
十个工具全体共用，不返回真值或分数。模型改机位、拍照，用至少两帧对应点做视线最小二乘，再提交或改正。一次调用可以连着执行多个工具。残差低只说明射线交得拢，不说明点对了同一零件。每场 100 次调用、100 张图。渲染 512×512，输入最长边不超过 384 像素。漏交在全清单分数里记 0。三维 IoU 把真值盒平移到预测中心再算交并比，只反映中心相对物体尺寸偏了多少。大物体上的同样误差，比小物体更不显眼。命中率在等价组内另匹配，阈值严格大于 0、0.5、0.9。
七个模型在同一批 80 个场景上各跑一场。除 GPT-6 Astra 另有 medium 外，档位都是 xhigh。
| 模型 | 全清单平均 IoU | IoU>0.5 | IoU>0.9 | 已提交平均 IoU |
| Claude Opus 5.5 | 41.71% | 47.23% | 3.25% | 46.69% |
| GPT-6 Astra xhigh | 33.16% | 35.15% | 1.62% | 41.16% |
| Claude Sonnet 5.5 | 32.26% | 33.60% | 1.40% | 38.99% |
| GPT-6 Astra medium | 31.18% | 31.55% | 1.27% | 37.16% |
| GPT-6 Sol | 20.83% | 18.95% | 0.48% | 28.65% |
| Qwen3.8-Max | 6.80% | 4.52% | 0 | 12.14% |
| Kimi-K3 | 4.22% | 2.77% | 0 | 6.55% |
| DeepSeek-V4.1-Flash | 3.48% | 0.92% | 0 | 5.80% |
正重叠很常见。Opus 全清单里 77.36% 的目标至少沾上重叠，Astra 的 xhigh 是 67.79%。IoU 超过 0.9 的，Opus 只有 3.25%，Astra 是 1.62%；只看已提交目标，也只有 3.64% 和 2.09%。粗布局和贴合中心差着这一档。
Opus 一场交齐 35 个目标，中心误差 0.073 米，平均 IoU 0.530。Astra 两个场景交了 80 个里的 65 个，已提交误差 0.141 米。DeepSeek 交齐 40 个，误差 1.000 米，平均 IoU 0.034。交齐了，中心仍然可以散。
Astra 平均拍 32.41 张，已提交物体 99.33% 有成功三角化，警告率 2.69%，中位误差 7.08 厘米。DeepSeek 拍 39.63 张，三角化覆盖 63.48%，警告 38.65%，中位数 68.17 厘米。图更多，点没对上，误差就从厘米掉到分米。Opus 调用最多，单场 28.85 美元，平均 IoU 最高。开源模型里只有 DeepSeek 比 GPT-6 Sol 便宜，Qwen 和 Kimi 更贵，分数也更低。
40 条轨迹里只有 6 条同时做到覆盖至少 90%、误差不超过 0.2 米。这 6 条都有多视角约束、边探索边补交、交完再改。失败的 34 条里，漏检 26 条；21 条残差已经很低但位置仍明显偏；13 条停下时还剩至少 10 轮。
问答分高，推不出坐标能用。最强的 Opus 让 47.23% 的目标 IoU 超过 0.5，粗布局算是摸到了；超过 0.9 的只有 3.25%，精确中心仍然稀少。
同样 100 次调用、100 张图，把提交绑在三角化上并持续改的，中位误差可以到 7.08 厘米。观察越来越少、调用耗在转相机上的，拍得更多也填不出地图。清单、位姿和内参是发给模型的，自己发现未知物体不在题内。
论文没有局限专节。没有人点对应，也没有 DUSt3R、VGGT 的分数，41.71% 距离几何方法的上限有多远，看不出来。盒中点和可见表面本来就错开，IoU 只平移真值盒，朝向和尺寸的错误不会单独出现。
位姿和内参直接给定，干扰物被删掉，输入最长边只有 384 像素。每场只跑一轮，没有方差。失败回合被移出总分，失败率没有公布。单价只写了 Opus 的 28.85 美元。轨迹归因有一部分用 GPT-6 Astra 驱动的 Codex 去读它自己的记录，几何分不受影响，失败原因的文字带有这个模型的视角。
还有三处数字对不上。来源写成 32、12、10、6、30 场，相加是 90，全文又说 80 场。目标数按场次相加是 3,140，一处写成 3,410。Astra 已提交平均 IoU 表内是 41.16%，正文写成 41.76%。