SpatialSpeak: QA-Native Reconstruction with Local and Global Context for Spatial Chain-of-Thought Reasoning
Yang Cao, Jiaxin Zhang, Dave Zhenyu Chen, Yingji Zhong, Ruiyuan Gao, Lanqing Hong, Dan Xu
cs.CV, cs.AI
2026-09-27
港科大 SpatialSpeak 把多视图重建做成问答预训练，再训带视觉补偿的空间 CoT；4B 模型 ReVSI 得 62.8，比 SpatialStack-4B 高 8.7，CoT 增益因 QA-RP 从 2.6 升到 6.9，七类任务里五类最高。
多视图 VLM 做空间问答，现在的主流是把 CUT3R、VGGT 这类重建模型的几何特征灌进语言模型，再在空间 QA 上做答案监督。几何先验进了隐空间，模型却从未被要求把「床的中心在哪、尺寸是多少」写出来，再据此算出最长边。定量题尤其吃这个亏：答案对不对，取决于中间几何估得准不准、推算步骤用得对不对，只给最终答案的训练把这两步都藏起来了。
港科大、华为 Noah's Ark Lab 和哈工大的 SpatialSpeak 赌的是：先让 VLM 用同一套自回归接口把局部点几何和全局物体布局说出来，后面的空间 CoT（思维链）才有东西可写。对照基线已经是 VG-LLM 那一套，冻住 VGGT（把多视图一次编成几何特征的 Transformer）、做特征融合，只是没有问答式重建预训练，也没有显式几何推理监督。
两阶段都只训 LLM。视觉编码器、VGGT 几何编码器和 MLP projector 全部冻结。骨干是 Qwen3-VL-4B，每段视频采 32 帧。所有三维坐标写在第一帧相机坐标系里，点和物体共用一个参照，省掉跨视图对齐。
Stage I 叫 QA-RP，问答原生的重建预训练。两道题混着训，损失就是普通 next-token prediction：
做成文本 QA 是为了让重建和后续推理走同一套输出接口，不加 3D 回归头，也不加额外几何损失。
Stage II 叫 CoT-VC。在 ScanNet 的三维标注上，按 VLM-3R 的题型写死四类 CoT 生成器：距离、尺寸、计数、最近物体。距离用两物体中心距减去各自轴对齐包围盒的近似半径，得到最近点距离；尺寸取最长边；计数点实例个数；最近物体对每个选项算距离再选字母。几何答案和真值比相对误差，阈值 τ=0.3 标成 HIGH 或 LOW。HIGH 就跟几何链走；LOW 则承认不准，加一句根据画面再看，把最终答案改成真值。这就是 Visual Compensation，视觉补偿。相对方向这类没有几何模板的题，仍用直接答案监督。
Stage I 用 8 张 H800，global batch 32，学习率 5e-6，训 1 个 epoch。Stage II 的 batch 64、学习率 1e-5，数据是 LLaVA-Video-178K 的 LLaVA-Hound 子集加 SPAR-7M，再叠上这套空间 CoT。
ReVSI（修正过标注和答案分布的空间评测）上拆件最清楚。两边都不做是 52.4；只做 QA-RP 到 55.9；只做 CoT-VC 到 55.0；两个一起 62.8。CoT-VC 的增益在没预训练时只有 2.6 分，有了 QA-RP 变成 6.9。局部点和全局物体中心都砍掉，分数掉回 55.0；只砍全局 59.9，只砍局部 59.3。Visual Compensation 本身值 4.3 分：有 CoT 没 VC 是 58.5。可靠性阈值 τ 取 0.1 得 59.6，取 0.5 得 59.5，都比 0.3 的 62.8 低一截。
主结果对照如下，ReVSI 与最强基线同为 32 帧评测：
| 方法 | ReVSI | VSI-Bench 常规 | VSI-Bench 放量 | SPAR-Bench |
| SpatialSpeak-4B | 62.8 | 63.3 | 73.0 | 76.0 |
| SpatialStack-4B | 54.1 | 未报 | 67.5 | 72.0 |
| GeoThinker-8B | 54.0 | 未报 | 72.6 | 68.2 |
| Omni-View-7B | 48.4 | 55.4 | 未报 | 未报 |
ReVSI 上相对 SpatialStack-4B 多出的 8.7 分里，物体计数 64.9 对 36.3，房间尺寸 66.0 对 54.4，相对距离 71.9 对 62.9，七类任务里五类最高。放量训练把 SPAR、VLM-3R、VSI-590K 都加进去后，4B 的 73.0 略高于 8B 的 GeoThinker 72.6。
定性例子里，垃圾桶到马桶的最近点估成 3.6 m，真值 3.5，两边都不做的变体给出 2.7；椅子计数 4 对 6。
Stage I 在 ScanNet 200 个未参训验证场景上，不对齐的点图 Acc/Comp 是 8.9/9.3 cm，低于 CUT3R 的 13.7/12.7 和 MapAnything 的 36.3/28.4。做完真值 Sim(3) 对齐（允许缩放、旋转和平移）后变成 5.0/5.0，略差于 CUT3R 的 4.7/4.6。重建是为推理服务的，对齐后并没有压过专用重建模型。
给空间 VLM 的启示很具体：几何特征融进去不够，还得逼模型把几何用文本说出来，再写进推理链。问答接口让重建和 CoT 共用输出，实现成本低，不用新的 3D head。4B、只训 LLM、项目页已放出，往室内多视图空间问答上套，门槛不高。
这是同一条技术线上的加强，不是换范式。基线已经在灌 VGGT，SpatialSpeak 多的是两段文本监督。计数涨得最多，也符合全局物体中心任务在直接教「场景里有几把椅子」。
论文没有单独的 Limitations 节。能看到的缺口不少。
CoT 模板只覆盖距离、尺寸、计数、最近物体四类，相对方向等仍只给最终答案。LOW 样本的训练目标直接写成真值，模型学到的更可能是「几何没把握就改口」，不一定真的回头看了图。可靠性标签在训练时用真值算相对误差，推理时模型得自己打 HIGH 或 LOW，论文没报这个自评估准不准。
训练标签绑在 ScanNet 的深度和外参上，室内、有度量尺度、相机已知。视觉塔和 VGGT 全冻，几何能力的上限很大程度仍取决于那套冻结先验。对齐后的重建还略差于 CUT3R，Stage I 并没有训出一个更好的重建器，只是把够用的度量几何写进了 LLM 的文本通道。ReVSI 部分基线引自原论文、部分在 32 帧下重跑，对照并不完全同条件。