MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation
Bingxuan Li, Siqi Song, Yizhuo Wu, Jiarui Yao, Tong Zhang, Huan Zhang
cs.RO
2026-09-30
MotorMind 用冻结通用 VLM 直接出中层动作，配合异步监控和结果校验，不训练任务策略。LIBERO-PRO 基础成功率 66.7%，扰动 53.8%，此前零样本最高只有 13.3% 和 19.2%。
VLA 把图像和语言直接映射成关节级动作。熟悉分布里，微调后的 π0.5 在 LIBERO-PRO 基础套件上能到 98.3%；物体外观、摆放、措辞或场景结构一变，同一类模型的零样本基础平均掉到 0.0%。要稳住，通常得再采机器人数据、再微调。策略锁在专用数据上，通用 VLM 变强也进不去控制器。
另一路把 VLM 留在高层规划，接地和动作交给 action expert、分割模型 SAM、技能库或 coding agent。模块一多，通用模型的进步就不容易变成更短的操作栈。
MotorMind 测的是冻结 VLM 能不能自己看画面、发动作、按执行反馈改下一步，不再调用这些外挂。
局部决策用 240 题拆开，动作选择、进度判断、子目标完成各 80 题。动作选择在六个模型上都最差，18.75% 到 60.00%。Qwen3.8-Flash-Next 的动作、进度、完成准确率是 36.25%、55.00%、65.00%，单次查询 0.276 秒。GPT-6 Astra 最高，60.00%、76.25%、82.50%，但要 8.724 秒。答案空间不同，这三个百分比不能直接比难度。默认骨干仍选 Qwen：提案要短，看过效果就能改，检查也要勤。这组题说明局部决策不稳，不能证明某种控制抽象就是错因。
评测用 LIBERO-PRO 的 Goal、Spatial、Object，扰动为 Semantic、Object、Position、Task。系统没有用 LIBERO 示教。
| 方法 | 设置 | 基础成功率 | 扰动成功率 |
| MotorMind（Qwen3.8-Flash-Next） | 零样本 | 66.7% | 53.8% |
| CaP-X（此前最强零样本） | 零样本 | 13.3% | 19.2% |
| π0.5 | 任务微调 | 98.3% | 63.3%（图 1） |
| OpenVLA-OFT | 任务微调 | 约 98% | 51.2% |
π0.5、MolmoAct2、OpenVLA-OFT、GR00T N1.5 的零样本基础平均都是 0.0%。OpenVLA-OFT 微调后的扰动成功率，正文直接给了 51.2%。它的基础墙钟是 5.7 秒、时间分 1033.5，按时间分定义约合 98% 成功率，正文没有另印一个基础平均。
Qwen 版基础三套是 Goal 45.0%、Spatial 75.0%、Object 80.0%。扰动 Semantic、Object、Position、Task 分别是 58.3%、46.7%、51.7%、58.3%。240 个扰动回合里，53.8% 比微调后的 OpenVLA-OFT 高 2.6 个百分点，低于图 1 里微调 π0.5 的 63.3%。
速度差更大。MotorMind 基础平均 223.4 秒，时间分 17.91；微调 π0.5 是 5.9 秒、997.1。扰动下 MotorMind 248.5 秒，时间分 12.99。时间分是 60 乘以成功率再除以平均墙钟，单位 pp/min，不是费用，也不是算力。这个分要跟成功率和墙钟一起看，失败很快并不等于做得好。
执行中途再变化的四组，任务数 10、10、5、5：动态推理 70%，场景突变 90%，传送带操作 80%，中途改指令 60%。各组最强基线是 30%、70%、40%、60%。改指令与 CaP-X 持平。
真机是 xArm6 加 RealSense D455，不微调。直接放置 98%，人中途挪动物体 92%，合计 95%。四条语义指令各测 5 次，成功率 80%、100%、100%、60%。
换成 GPT-6 Sol（Medium Reasoning），基础平均从 66.7% 升到 83.3%，Spatial 墙钟从 199.0 秒增到 370.4 秒。正文写的套件变化是 Spatial 70% 到 80%、Object 80% 到 100%、Goal 50% 到 70%。主表的 Qwen 分项是 75.0%、80.0%、45.0%。平均 66.7% 两边一致，分项不是同一组数。
消融相对 66.7%：去掉重规划剩 36.7%（低 30.0 个百分点，103.3 秒），去掉 Verifier 剩 60.0%（低 6.7 个百分点），去掉 Planner 剩 0.0%（96.2 秒）。
机械臂只要吃得下笛卡尔中层命令，就不必为每个任务采示教，也不必再接 SAM、coding agent 和 action expert。骨干可以原样替换。Qwen 换成 GPT-6 Sol，基础平均从 66.7% 到 83.3%，控制架构不用重做。
分布内它比不过专用 VLA。微调 π0.5 用 5.9 秒做到 98.3%，MotorMind 用 223.4 秒做到 66.7%。合适的场景是任务种类多、来不及逐个采数据：零样本从 13.3% 抬到 66.7%，扰动下略高于 OpenVLA-OFT 的 51.2%。要节拍的产线用不上。
剩下的失败主要是视觉接地和过早宣布完成。语义、物体、位置扰动里接地错误最多，任务扰动里提前宣布完成也很集中。动作知识不够时，模型会对同一局面反复提出无效运动。正文认为以后更强的 VLM 会缩小这三类错误。诊断部分写明了，那 240 题证明不了重复检查就能消掉这些错误。
自适应每组只有 5 到 10 个任务，改指令没有超过 CaP-X。真机是桌面放置，95% 不能当成 LIBERO 长程任务的实机结果。图 6 分套件（图注里有 single seed）和主表对不齐，Qwen 的 Goal、Spatial、Object 到底是 45.0/75.0/80.0 还是 50/70/80，正文没有交代。Monitor 只会叫停，纠正要再问一轮 VLM。接地若连续出错，异步省不下查询次数。