GPT-Policy:让 VLM 靠上下文学习直接驱动机器人,无需梯度更新
Dongzhou Cheng · hf · 2026-09-17
论文提出 GPT-Policy，一个基于商用 VLM（如 GPT-6 Astra）的通用 agent 框架，探索机器人能否像人一样通过上下文学习（ICL）适应陌生环境——不从演示中更新参数，而是把信息直接转化为可执行、可验证的机器人行为。
- 架构：上下文编译器保留任务相关的视觉状态转换；VLM 提议机器人工具动作；受约束控制器验证并执行每个动作、回报结果
- 实验：通过任务成功率与效率指标、跨模型对照和受控上下文消融评估
- 发现：仅凭人类视频演示即可提升任务完成度（无需机器人动作标注）；对接触敏感任务，对齐的动作参考能带来进一步增益
结论是 VLM 的通用 agent 能力有望转化为物理行为，但也明确了可靠部署仍需克服的挑战。
所属事件:GPT-Policy:VLM 上下文学习让机器人免重训练学新任务(2 条相关)→
「具身」频道最新
- ANYbotics 防爆四足机器人 ANYmal X 开始向客户交付，全球首个 — lukas_m_ziegler · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 周末懒得整理桌面？博主让机器人代劳清理全程实拍 — flngr · 2026-11-02
- Whoop 与 Apple Watch 双持同一条表带，健康监测两不误 — tinyfool · 2026-11-02
- REA 提出「大脑-小脑」异步机器人控制运行时，运行策略不等大脑 — Pengfei Zhou · 2026-11-02
- 机器人格斗正式登陆日本，东京将设常设竞技场 — cixliv · 2026-11-02