In-Context Robot Learning with VLM Agents
Dongzhou Cheng, Taoran Yi, Ye Fang, Xingwu Zhang, Fan Feng, Yixuan Li, Gengxiong Zhuang, Rongze Wang, Shuai Yang, Wei Song, Weizhi Xue, Minyan Wu, Jie Gui, Jiaqi Wang, Tong Wu
cs.CV, cs.RO
2026-09-17
GPT-Policy把冻结商用VLM接到真机闭环。人类视频把毛巾和笔记本抓取从0/3做到2/3，接触任务还要时间对齐的动作标签。
机器人策略再怎么堆演示，部署时总会碰到训练集没覆盖的摆放、物体和交互。GEN-1.5、S1、Zero-WAM 已经在做一次演示适应，但它们都是专门当机器人策略训出来的。
货架上的通用视觉语言模型还没被认真量过。GPT-6 Astra、Claude Fable、Kimi K3 这类模型，不改参数、不做策略微调，只靠上下文，能不能把演示、目标图、交互记录翻译成可执行、可校验的真机动作。
GPT-Policy 把这个问题做成共享闭环：同一套工具接口、同一套成功判据，换上下文条件和换模型都能对照。
系统三块。
策略参数全程冻结。适配器只处理坐标系、IK 后端和厂商消息格式，YAM、ARX X5、Morphi Kino 三套真机共用接口。笛卡尔规划器不做碰撞检查，双臂只按较长一侧做时间对齐。
每条任务 3 次试验，成功只认最终几何和语义条件。主模型是 GPT-6 Astra。
| 任务 | 无上下文 | 人类视频 | 机器人视频 | 视频+动作 |
| 捡红毛巾 | 0/3 | 2/3 | 无 | 无 |
| 捡笔记本 | 0/3 | 2/3 | 无 | 无 |
| 拧瓶盖 | 0/3 | 无 | 2/3 | 3/3 |
| 拔插插头 | 0/3 | 无 | 0/3 | 2/3 |
人类视频不含机器人动作标签，决策数和耗时一起下降。毛巾从平均 96.3 次决策、24.6 分钟降到 76.7 次、18.9 分钟；笔记本从 94.0 次、24.6 分钟降到 66.7 次、16.1 分钟。
接触任务上，视频本身不够。插头任务加上时间对齐的末端位姿后才从 0/3 到 2/3。瓶盖动作参考保留 205 个采样、对应 13 个视频关键帧，中间运动不再靠模型自己猜。
目标图、自身交互史、在线人机交互三类条件都是 3/3，论文没给对应的「无该上下文」对照。红毛巾的单次模型对照里，人类视频把 GPT-6 Astra 的任务进度从 55% 拉到 100%，耗时 24.63 降到 15.85 分钟，token 从 1204.7 万降到 495.6 万。同一视频下 Fable 5.1 进度 30%、Kimi K3 进度 20%。这是单次进度不是成功率，排不出可靠名次。
对想用通用模型控机器人的人，这篇给的是一张能力边界图，不是可上线策略。高层步骤可以从人类视频里抄过来，接触精度和安全过不了关。
实验室里的少样本任务指定用得上：给一段人做的视频或一张目标图，让模型先把步骤走对。需要稳定接触、双臂协同或无人值守的部署用不上。规划器明确不做碰撞检查，讨论部分反复看到双臂相撞。
和专门训过的机器人 ICL 模型比，这篇测的是通用模型已经会多少，不是再训一轮还能涨多少。
任务系列小、消融不完整、预训练数据看不到，谈不上因果和新技能。每格只有 3 次试验，0/3 和 2/3 经不起抽样波动。目标图和交互史缺少无上下文对照，这两类 3/3 不能直接读成「上下文有效」。
笛卡尔规划器不查碰撞，参考被接受或关节到位都不等于任务成功。模型自己申报完成和物理成功是分开的。跨本体迁移和可靠自主运行都还没做够。