World In-Context Learning for Agentic Robot Manipulation
Heng Fang, Zehui Guo, Yuehan Zhang, Mingyang Du, Dingkang Liang, Xiang Bai
cs.CV, cs.RO
2026-11-10
每项任务一条演示、权重不更新，RoboScript 在仿真里排练并冻住任务记忆，五十项任务平均成功率 83.4%，高出 50 条演示训练的 4D-WAM 共 21.7 个点。
操作技能写进权重，就和训练场景绑在一起。VLA（看图和语言直接出动作）和 WAM（先预测画面再取动作）靠几十条演示做梯度训练，换任务或换分布就要重采、重训。FastWAM 在 RoboTwin 2.0 干净场景 77.8%，域随机化后掉到 1.9%。域随机化同时改纹理、光照、桌高和干扰物。
上下文学习不改权重，一条演示放进提示就能试新任务。演示来自别的场景，提示里没有眼前动作的后果，错误沿步骤累积。编码智能体靠终端退回运行结果。操作侧缺的是这条回路。
上下文记下的是物体角色、步骤和上次错在哪里。换纹理、换光照之后这些还在。仿真器便宜、可重置，又对准任务语义，就够用来排练。
WICL 把世界反馈写进上下文，权重保持冻结。模型从一条演示起稿，在排练场景里做，再按轨迹和回执改上下文。排练和测试不相交，冻住后测的是新场景。上下文可读，评测记录能写成下一轮指导。没有世界时，它退回只看演示的学习。
RoboScript 的世界是 RoboTwin 2.0。任务记忆是 Markdown：物体角色、阶段流程、相对抓放规格和教训。规格写成从左侧接近把手、抓在中点，不含某一幕坐标。检查器拒绝坐标、真值词和实例编号。
感知与真机一致，只看头、腕 RGB-D 和本体感觉。身份由 Set-of-Mark、定位模型和视觉语言模型投票，再按抓取关系跟踪，免得遮挡时重检认丢。共享入口不含坐标约定，绑定补上限位、桌高和夹爪，编程智能体只补入口盖不住的片段。参数随物体平移超过 1 厘米即作废，技能不能记住绝对位置，并在学任务前冻住。回执来自本体感觉和规划器，写出实际位姿和有没有抓住，用来分开「命令已执行」和「效果已达成」。
模仿把演示写成初稿，在原实例上练到不看提示也能过。排练换新场景，只计第一次尝试。真值诊断用来改缓存，重试成功才合并，编辑额度越来越小。排练与部署的执行者只看可部署输入。模仿阶段能读特权状态，进记忆前要过检查器。
部署不再要成败反馈。先对齐角色、选够得着的手臂。失败不重置，退到安全位姿再看，在步数上限内继续。完成声明须和演示终态一致，由仿真器裁判。反思读取互不重叠的评测块，只凭可部署观测和成败写下一块指导。
评测是 RoboTwin 2.0 全部 50 项双臂任务。训练策略每项 50 条干净演示、联合训练，每项 100 个回合。RoboScript 每项 1 条干净演示，只在干净场景排练，两个设置各 10 个回合。保持率是随机成功率除以干净成功率。
| 方法 | 演示 | 干净 | 随机 | 均值 | 保持率 |
| RoboScript（GPT-6.1-Sol） | 1 | 83.6 | 83.2 | 83.4 | 99.5% |
| RoboScript（GPT-5.6-Luna） | 1 | 79.8 | 76.0 | 77.9 | 95.2% |
| RoboScript（DeepSeek-V4.1-Flash） | 1 | 77.8 | 78.4 | 78.1 | 100.8% |
| 4D-WAM | 50 | 81.5 | 41.8 | 61.7 | 51.3% |
| π0.5 | 50 | 70.7 | 46.0 | 58.4 | 65.1% |
| FastWAM | 50 | 77.8 | 1.9 | 39.9 | 2.4% |
| HarnessVLA（Claude Code） | N+1 | 未报 | 58.4 | 未报 | 未报 |
Sol 均值 83.4%（干净 83.6，随机 83.2），高于 4D-WAM 的 61.7%（81.5 / 41.8）共 21.7 个点，95% Wilson 区间 81.0 到 85.6。干净场景只差 2.1 个点。训练策略里保持率最高的是 π0.5 的 65.1%，三种基础模型的保持率在 95.2% 到 100.8%，排练时没见过随机场景。Sol 的随机成绩比 HarnessVLA（Claude Code）高 24.8 个点。Flash 与 Luna 为 78.1% 和 77.9%，仍高于表中全部训练策略。Sol 领先 5.3 与 5.5 个点，95% 配对区间下沿是 0.7 和 0.8，而接口换一次会话就能漂几个点。π0.5 每个任务类在随机下掉 18.7 到 31.8 个点，Sol 的类别变化在 -7.0 到 +6.4 个点。
166 个失败回合里，知识类失败干净 37、随机 38。感知从 22 降到 17，执行从 23 升到 29。完成检查误接受官方失败的比例约为 28% 和 29%。
消融在 10 项较容易的任务上配对，不能和主表横比。不进仿真、只把演示写成记忆，69.0%，对照 78.5%（p = 0.003）。拿掉演示再排练，86.0% 掉到 56.5%，三项能做完、两项为 0。去掉特权监督，86.5% 对 86.0%。去掉恢复，78.5% 降到 69.0%。11 项更难的任务上，只模仿 46.1%，完整方法 54.5%，随机场景多 13.3 个点（p = 0.034）。
反思三轮，17 项弱任务（事先干净成功不超过 8/10）净增 +18、+8、+4 个回合，50 项合计 +18、+7、+1。指导由 74 条增到 112 条。
学完 50 项并评测 1000 个回合，牌价 Luna 308 美元，Flash 739 美元，Sol 1911 美元，大头在评测。Sol 每回合 54.7 次调用、233 万 token、149 步，中位 6.4 分钟，约八成时间在等模型。
真机是运动学不同的双臂 PiPER。适配器只改坐标、臂和夹爪，不重新排练，动作离线执行。按铃 10/10，抓滚筒 7/10，移开扑克牌 7/10，叠两个碗 6/10。失败多是夹爪偏差和真实深度误差。
干净场景上，一条演示打平了用 50 条演示训练的 4D-WAM。均值多出的 21.7 个点，主要来自随机场景没有掉下去。技能放在可读文本里，换基础模型不用重训。
它要一个语义忠实、可重置、排练和评测分开的世界。没有仿真器，目前做不到。6.4 分钟一个回合，适合离线产出记忆，做不了实时控制。
接口质量会漂，换一次会话，成功率可以动几个点。反思净收益逐轮变小，剩余失败只有稀疏的成败信号。评测任务是刚体或铰接体，布料、线缆和紧密的双臂交接仍然难。单回合要等几十次模型返回。
21.7 个点里，干净场景只占 2.1 个点。训练策略每项评 100 回合，这里每个设置 10 回合。按任务重采样，Sol 的区间拉到 77.5 到 89.0。同一份记忆在另外四组干净种子上落在 83.0% 到 85.2%。种子比任务稳。
一条演示说的是任务记忆。技能库事先看过全部 50 项演示。无特权对照只做在 10 项较好学的任务上，和完整方法打平。真机四项任务、开环、各 10 次，说明规格能跨本体搬迁，估计不了真机成功率。