GPT-Policy:让 VLM 靠上下文学习直接驱动机器人,无需梯度更新
Dongzhou Cheng · hf · 2026-09-17
论文提出 GPT-Policy，一个基于商用 VLM（如 GPT-6 Astra）的通用 agent 框架，探索机器人能否像人一样通过上下文学习（ICL）适应陌生环境——不从演示中更新参数，而是把信息直接转化为可执行、可验证的机器人行为。
- 架构：上下文编译器保留任务相关的视觉状态转换；VLM 提议机器人工具动作；受约束控制器验证并执行每个动作、回报结果
- 实验：通过任务成功率与效率指标、跨模型对照和受控上下文消融评估
- 发现：仅凭人类视频演示即可提升任务完成度（无需机器人动作标注）；对接触敏感任务，对齐的动作参考能带来进一步增益
结论是 VLM 的通用 agent 能力有望转化为物理行为，但也明确了可靠部署仍需克服的挑战。
「具身」频道最新
- Sakana AI「智能细胞积木」登 Scientific American：197 块积木自识别自修复 — SakanaAILabs · 2026-09-17
- 前清华/BIGAI 团队通用灵巧手策略击败 Astra 登顶 RoboDojo — chris_j_paxton · 2026-09-17
- 李飞飞 Atlas 扫描靠生成补全,NeRF 发明人坦言产品化是根本挑战 — cen6wkf · 2026-09-17
- 长鑫 LPDDR5X 首进旗舰机，努比亚豆包 AI 手机 5999 元起售 — pstAsiatech · 2026-09-17
- VLA 模型面临语言用量、评测、部署与因果推理等多重挑战 — abursuc · 2026-09-17
- LADA:用潜动作标注低成本模仿语言功能,拆难题为两步 — abursuc · 2026-09-17