GPT-Policy：用 VLM 上下文演示教会机器人新任务，免重训练
KyeGomezB · x · 2026-09-19
论文《In-Context Robot Learning with VLM Agents》提出 GPT-Policy 框架，把机器人学习变成「提示」而非重训练：
- 核心思路：冻结的商业 VLM（如 GPT-6 Astra）通过上下文学习适应新任务，无需梯度更新或修改任务参数。
- 框架组成：上下文编译器（保留任务相关的视觉转换）+ 提出机器人工具动作的 VLM + 受约束控制器（验证并执行每个动作并回报结果）。
- 关键发现：真机实验中，仅用人类视频演示（无机器人动作标注）即可提升任务完成率；对齐的动作参考在接触敏感任务上带来进一步提升。
- 意义：把 few-shot 学习带入物理世界，教机器人新行为可能只需给它看一个例子。
作者团队来自上海创新研究院、HUST、FDU 等多所机构。
所属事件:GPT-Policy:VLM 上下文学习让机器人免重训练学新任务(2 条相关)→
「具身」频道最新
- 萝卜快跑香港东涌两周公众试乘收官，百度自动驾驶出海再进一步 — Baidu_Inc · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04
- Chris Paxton：交互式机器人仿真是未来，但数据瓶颈明显 — Scobleizer · 2026-11-04
- KAIST 提出 DreamX:视频扩散模型成为通用潜在动作学习器 — kaist-ai · 2026-11-04
- KAIST RoboTryOn:把人类演示视频「试穿」成机器人视频,成功率 2%→60% — kaist-ai · 2026-11-04
- INMO 新款 AI 眼镜亮相:125g 双 1080p 屏,早鸟价 799 美元 — Scobleizer · 2026-11-04