Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World
Kaixiang Yao, Xu Wang, Miao Pan, Hu Xiyue, Weishi Wang, Daniel Dahlmeier, Jintao Chen, Yongliang Shen, Xuhong Zhang, Wenqi Zhang
cs.AI, cs.LG
2026-09-19
浙大与SAP用LSI-108K交互课程训练VLM：先SFT学局部状态转移，再OPD学长程积分。四档骨干Overall涨16.4–25.0分，8B达到65.9，帧顺序敏感度从不到1分升到约7分。
VLM在配图、看视频上已经能用，进到真实三维空间就容易丢状态：搞不清自己转了还是物体动了，长轨迹上把前后观察搅在一起。现有空间训练几乎全是静态问答，问的是「谁在谁左边」，很少直接监督「这一步动作之后世界怎么变」。
两组诊断把缺口量化了。把VSTI-Bench的32帧打乱，Qwen2.5-VL-3B/7B只掉0.9和0.8分，说明模型几乎没在用时间顺序。局部交互任务SAT-Real上，7B有54.7，同一模型在VSTI的相机位移长任务上掉到8.6；GPT-5.5从88.7掉到23.9。给GPT-5.5补上分段状态描述，位移分从23.9升到35.5。局部转移能感知，不等于能沿轨迹积分。
Spatial-Interactor把一条交互写成观察-动作-下一观察。三级课程对应三种监督：
LSI-108K从仿真（ProcTHOR、Habitat、AI2-THOR等）和真实轨迹（ScanNet、ARKitScenes、DROID等）自动做成约10.8万道可验证问答。元数据决定答案，模板出题，冻结VLM只做「看不看得见」的过滤，不改标签。
训练两段。先在82596条L1–L2样本上加8万条公开空间QA做SFT，视觉编码器冻结。再对10712条RoomTour和10783条长程VSTI样本做On-Policy Distillation：把32帧切成四段，冻结强VLM写出与题目无关的转移描述，只给教师看；学生自己采样思维链，教师在同一前缀上用特权描述监督推理token的KL，答案仍用可验证奖励。对照GRPO除了特权条件和过程蒸馏，其余完全对齐。
四个骨干Overall相对Base涨16.4–25.0分。8B达到65.9，MindCube从29.4拉到88.4。相机位移上7B从8.6到36.6。训练混入的套件之外，MMSI/ViewSpatial/SAT-Real/SAT-Syn上再涨4.3–10.6分，其中大部分来自SFT，OPD再加1.0–1.4分。
| 模型 | Base Overall | Spatial-Interactor | 绝对涨幅 |
| Qwen2.5-VL-3B | 33.9 | 55.6 | +21.7 |
| Qwen2.5-VL-7B | 35.1 | 60.1 | +25.0 |
| Qwen3-VL-4B | 47.3 | 63.7 | +16.4 |
| Qwen3-VL-8B | 48.4 | 65.9 | +17.5 |
消融（7B）：公开空间QA的SFT把Overall送到56.0，加上L1–L2交互到58.4，再GRPO到59.2，OPD到60.1。OPD相对GRPO在路径规划和相机位移上分别高5.1和3.1分。训完后把32帧打乱，3B/7B掉6.6和7.0分，Base几乎不动，说明时间顺序真的被用上了。闭环WalkerBench成功率从7.0到14.0，平均步数从17.71降到6.52；ESI-Bench从32.9到41.2。
空间VLM缺的不是更多「左/右」选择题，是「动作如何改观察、观察如何改状态」的监督。交互轨迹天然带这个三元组，比合成静态QA更接近导航和操作。OPD的做法也清楚：长程任务不能只靠最终答案，得在学生自己走到的前缀上，用教师才看得到的分段描述去教积分。对做具身VLM后训练的人，L1→L2再L3比一锅炖更可复述。
涨分很大，但闭环绝对水平仍低：WalkerBench总体14.0，导航10.0。这是空间问答变强，还不是能在环境里稳稳走完。
特权转移描述只在训练时出现，依赖另一套冻结VLM的标注质量，误差会灌进学生。L3数据量大约2.1万，远小于L1–L2。评测主表含VSI/MindCube/VSTI，SFT阶段也用了这些来源的公开样本，跨基准数字更可信。WalkerBench和ESI是子集、题目数有限。作者自己把后续写成自适应切段和更多真实交互。视觉编码器始终冻结，几何细节能进语言塔的量是有上限的。