RoboICL: Embodied In-Context Learning with GPT-6 Astra
Fangcheng Liu, Yeqing Shen, Anda Cheng, Weishi Mi, Chao Tang, Chenyuan Liu, Yushun Xiang, Tingguang Li, Yong-Lu Li, Yehui Tang
cs.RO, cs.LG
2026-09-28
三星团队把示范和执行记忆组织成统一上下文喂给冻结的 GPT-6 Astra,零参数训练拿下 RoboDojo 总分 50.64,比最强基线高 16.96 分。
GPT-6 Astra 这类通用 VLM 已经能零样本直接输出机器人动作,在开放式、按语言或图像指定的操作任务上表现很强,但一到高精度(毫米级插孔)和长程任务就明显掉队。此前的补法是训 VLA(Vision-Language-Action 模型),代价是在机器人数据上做大量专属训练或后训练。三星这支团队(Samsung Research、三星机器人部门,联合上海交大)把问题换了个角度:权重一个字不动,能不能靠把上下文组织好,让冻结的 GPT-6 Astra 把示范和自己的执行经验用足。RoboICL 是对这个问题的回答。
核心是把推理时上下文拆成两个来源,共用同一套四段式语法:观察、动作、回执、结果观察。
交互记忆的保留策略是有界锚定记忆:共 B 个槽,前 B-1 个是按时间均匀分布的固定锚点,锚点 0 永远保留初始场景(记忆类任务的目标常常取决于初始状态),最后一个槽存最近一次交互,用于即时纠错。被丢弃的区间插显式的 <TRAJECTORYGAP> 标记,防止模型把相隔几百步的两帧当成连续画面。这么设计是因为 API 每次请求有 50 张图的硬上限:均匀锚点保证早期视觉证据不被挤掉,最近交互保住即时反馈,记忆占用与局长无关。消融支持这个设计,锚定记忆比常见的「第一条加最近 11 条」高 6.75 分(80.25 对 73.50)。
动作接口只有一个 act 工具:模型输出 H×14 矩阵(双臂各 7 维,世界系平移旋转增量加绝对夹爪开度),确定性代码做校验、解逆运动学、按 25 Hz 执行,预测步幅 H 按任务步数上限分 5 到 25 五档。三个相机视角拼成一张 1920×480 三联图,一次观察只占一个图位。任务指令、示范、已完成锚点构成稳定前缀,配合缓存边界提示做 KV cache 复用,1810 次调用实测命中率 92.4%。
RoboDojo 30 个任务,Open 类无示范可用走零样本,其余每任务一条示范:
| 设置 | 指标 | 结果 |
| RoboICL | 30 任务总分 | 50.64 |
| Liber-0 Preview(最强基线) | 30 任务总分 | 33.68 |
| RoboICL vs 官方零样本 GPT-6 Astra | 四类进步分 | 每类 +2027 |
| RoboICL(十任务面板) | 总分 | 60.60 |
| GPT-as-Policy Direct(同面板) | 总分 | 38.50 |
| π0.5+GPT-6 Astra 混合(同面板) | 总分 | 62.60 |
分类别看,Memory 70.00 和 Open 57.8 都是第一,Precision 38.53 与 Liber-0 Preview 的 38.28 打平,Long-Horizon 44.11 排第三(两个领先基线为 46.0 和 47.7)。最悬殊的单任务是毫米级的 Deposit Coin:所有对比方法最高 18.67,RoboICL 50 个布局平均 78.00,其中 37 次满分,靠的是腕部相机下的毫米级增量纠偏。真机(Franka Research 3,三个任务各五次)平均进步分从零样本 14.45 升到一条示范 63.33、三条 78.89。可选的 Jev 门控只用本体感知判断能否复用已预测的动作后缀,把 GPT-6 Astra 调用减少 33%(181 次到 121 次)和 48%(116 次到 60 次),token 从 953 万和 495 万降到 508 万和 139 万,但成功率一升一降(3/5 变 2/5,4/5 变 5/5)。
这组数字把「不训 VLA、直接用通用 VLM 控机器人」这条路线推到了 leaderboard 第一的位置,靠的全是上下文工程:统一交互语法、锚定记忆、缓存友好的稳定前缀。对没有数据养 VLA 的团队,这是当前门槛最低的方案,代码已开源,接口细节(回执、间隙标记、图像预算分配)可以直接搬走。代价也明摆着:每局 260 万到 560 万 token、墙钟 37 到 59 分钟,离实时控制很远,现阶段适合评测和离线任务,不适合产线。
作者自己列的:只测了 GPT-6 Astra 一个模型、RoboDojo 一个仿真 benchmark、三个真机任务;Jev 门控的配置就在评测布局上选的,属于开发集结果;上下文分配和锚定记忆的消融用了参与设计的任务,需要在留出任务上复验。
读下来还有几处要留神。评测协议不对等:RoboICL 只跑 seed 0,十任务面板每任务 5 个布局,VLA/WAM 基线是 3 个种子、每任务 50 局,领先幅度里有协议成分。30 任务里有任务因评测中断被豁免、按零分计入,RoboICL 列共五个 0 分任务,豁免对总分的净影响论文没拆。示范也不是稳赚,Classify Objects 从零样本 100 掉到一条示范后的 71。分布外更明显:折毛巾换大一号的毛巾,进步分从 100 掉到 40,模型跟着示范动作走,不肯按物体尺寸调整。Long-Horizon 是四类里唯一没拿下的。