浙大团队提出 Spatial-Interactor，让 VLM 从交互轨迹学空间推理
青稞AI · wechat · 2026-10-17
浙江大学 OmniAI 团队联合 SAP 新加坡发布 Spatial-Interactor，让视觉语言模型从交互轨迹中学习空间推理，解决“看懂每一帧不等于理解连续变化的世界”这一关键问题。
方法分三层课程：L1 理解外部物体变化，L2 理解自身运动带来的视角变化，L3 整合完整相机轨迹。数据来自模拟与真实交互记录的自动化流程，构建了约 10.8 万条可核验问答的 LSI-108K 数据集；训练采用 SFT 与 On-Policy Distillation 两阶段，教师沿学生自己的推理路径提供分段过程指导。
在 Qwen2.5-VL 与 Qwen3-VL 共四个基础模型上验证，七个模型在八个空间基准普遍提升：7B 版 VSI-Bench 从 37.9 升至 49.0，多视图 SPBench-MV 从 34.0 升至 67.6，SAT-Real 从 54.7 升至 74.0，域外基准也有迁移收益；接入 WalkerBench 后导航成功率翻倍（7.0%→14.0%）。论文、代码、数据均已开源。
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23