Spatial-Interactor:让 VLM 像婴儿一样通过交互学会空间推理
arankomatsuzaki · x · 2026-09-27
浙江大学等机构研究者提出 Spatial-Interactor 框架,让视觉语言模型(VLM)通过与物理世界交互来学习空间推理并构建空间记忆,类似婴儿的学习过程。核心思路:现有空间训练多集中在静态属性与关系问答,对状态转移缺乏直接监督;而交互轨迹天然连接了「观察-动作-新观察」,能直接监督局部状态转移,完整轨迹则揭示相邻转移间的依赖。
学习分为三级课程:
- L1 被动观察世界状态变化
- L2 主动操作物体或移动视角,体验自身状态转移
- L3 整合长程交互轨迹,构建空间记忆
团队据此构建了 LSI-108K 数据集(Learning from Spatial Interaction),来自模拟与真实交互轨迹。论文与代码均已公开。
「具身」频道最新
- 扑翼无人机在空军测试中被探测系统误判为鸟 — import_jmr · 2026-11-16
- Uber 在拉斯维加斯上线 Amazon 旗下 Zoox 无人驾驶出租车服务 — Polymarket · 2026-11-16
- 蚂蚁灵波具身大模型挑战赛收官:TARS战队48小时真机对决夺冠 — 新智元 · 2026-11-16
- 特斯拉 FSD 城市街道里程破 70 亿英里,四周新增约 5 亿 — XFreeze · 2026-11-16
- Ropedia 发布 Xperience 2:1500+ 真实场景扫描配第一人称演示 — liuziwei7 · 2026-11-16
- 杭州群核联合华测发布 3D 激光扫描仪 Aholo MS07 — teortaxesTex · 2026-11-16