In-Context Learning for Robots: Methods and Applications
Haojian Huang, Zexi Li, Junhao Guo, Yehang Zhang, Wenxuan Peng, Bohan Zhou, Weilin Ruan, Leyi Wu, Chenxu Wang, Jianchong Su, Binghui Xie, Wosong Chen, Yingjie Xu, Tianhao Zhou, Suzeyu Chen, Pukun Zhao, Jiaqi He, Xinyi Li, Runze Li, Peiran Dong, Shaoxiang Dang, Jing Huang, Yingbing Chen, Yifan Chang, Tianyi Zhang, Shiyuan Deng, Haozhi Wang, Yangkai Wei, Wenqian Li, Han Yang, Kaiwen Zhou, Huaping Liu, James Cheng, Rui Shao, Donglin Wang, Yaochu Jin, Jianye Hao, Ying-Cong Chen, Yinchuan Li
cs.RO, cs.LG
2026-09-29
综述定义机器人 ICL:部署时不更新神经网络参数,靠演示、指令与交互历史改变行为,并把 412 篇文献归入四条方法族。
一个什么都会抓的机器人,面对打包任务仍不知道零件按什么顺序放、哪些步骤已经完成、新配合要多紧。宽泛的预训练给的是「会做动作」,给不了「现在该做什么」。补这个缺口有两条路:fine-tuning 把新证据写进权重,每换一次任务付一次训练成本;in-context learning(ICL,上下文学习)把证据放进输入,部署时权重一行不动。这篇 39 位作者、8 家机构合作的综述研究后一条路:演示、指令、纠正与交互历史如何在不更新参数时改变机器人行为,以及在物体、环境、执行条件变化后这种行为还能不能保住。
领域在爆炸:412 篇参考文献 72.1% 是 2024 年及以后首发,仅 2026 年前九个月就有 197 篇。既有综述多沿示教接口或单一切面组织,这篇换了一根轴:不看证据长什么样,看证据经由什么中间量到达执行。
先把「学习发生在哪里」排成六级阶梯 S1-S6:显式控制编程、神经策略学习、基于历史的适应、上下文任务学习、物理递归自我改进、群体知识演化。S3、S4 是综述主体,共同条件是部署时权重冻结;作者明说 S5、S6 还是研究目标,不是已实现的能力。
再给一个统一接口:动作块 At 服从 πθ(·|ht,Ct),θ 固定。适应可以存放在五个位置:外部证据、循环状态、外部记忆库、部署时更新的 fast weights、跨任务保留的权重;前三个属于 ICL,后两个属于参数适应。由此直接得到评测干预:删证据、清记忆、复权重,把增益拆开归因。
主分类法按执行环节消费的中间量分四族:
按中间量分类的理由很实际:同一段演示可以作为策略条件、定义一条运动参考、约束预测的未来,或变成一次技能调用。中间量决定迁移假设:动作推断要保住示教里的关键区分,几何迁移假设匹配的交互仍然适用,世界模型假设预测的演化物理可实现,技能执行假设可用技能保得住任务约束。跨家族共享两个机制:correspondence(几何、语义、时间对齐,把证据绑到当前场景)与 memory(让证据跨时间可用)。
统计截至 2026 年 9 月 29 日:
| 口径 | 数量 | 占比 |
| 全部参考文献 | 412 | 72.1% 为 2024 年后首发 |
| 方法与对照类子集 | 260 | 100% |
| Context-conditioned policies | 123 | 47.3% |
| Skill- and agent-based execution | 91 | 35.0% |
| Geometric demonstration transfer | 24 | 9.2% |
| World-model-based control | 22 | 8.5% |
两个大族合计约 82%,几何迁移和世界模型控制是少数派。三个对照值得记:REGENT 的未见 MuJoCo 本体实验里,检索回放胜过冻结的上下文 transformer,分布偏移下学出来的解释器可能不如直接调用存档动作;KAT 显示示例少时上下文推断有竞争力、示例多时训练出的策略更强,交叉点取决于表示与机制;MT3 靠语言过滤、几何检索加对齐回放,用不到 24 小时人工演示堆出 1,000 个单交互任务的技能库,全程不重训策略。
综述同时提出一套评测规范:对示教的响应、跨物体和环境的物理迁移、保留经验的收益要分开测,不要混进一个成功率。
对做具身智能的人,这篇给的是地图加检查清单。拿到任何「看演示学任务」的系统,四族坐标加 correspondence/memory 能快速定位它的迁移假设和最可能的失效点;删证据、清记忆、复权重三个干预,既是设计 benchmark 的模板,也是审论文的标尺。「任务信息存在上下文里还是权重里」决定了采集成本、持久性与重置行为,选型时比单点成功率更根本。配套 GitHub 仓库 awesome-robots-icl 按同一分类整理,可直接当文献导航。要说清楚:这是综述,没有新方法和新实验数字,产出是认知结构。
作者自划的边界:这是机制导向的叙述性综合,不是系统性 meta 分析;S5、S6 是愿景;混合系统按「部署分支」归类,ReCAP、GPT-Policy 这类的归属带判断成分。覆盖截至 2026 年 9 月 29 日,领域一年产出近 200 篇,地图保鲜期有限。另有一层疑虑:联系邮箱与两位通讯作者的第一挂靠单位是 Knowin AI,文中 GLOW(描述里出现 KnowinWorld)、Robo-Harness K1 等系统在分类树中位置显眼,家族占比反映的是作者编码口径,当领域客观分布引用时要打折。