Q-Planning:冻结 BC 策略配小型 Q 函数,机器人从失败中自我改进
animesh_garg · x · 2026-09-18
Animesh Garg 团队论文《Beyond Imitation: Self-Improving Robot Policies via Off-Policy Q-Planning》，配套播客即将上线，论文与代码已公开。
- 问题：行为克隆（BC）无法自我改进——策略失败后没有人类示教就学不到东西；RL 微调又难以扩展到数十亿参数的视觉运动策略
- 方法：给大型 BC 策略配一个小型 off-policy Q 函数。Q 函数估计价值而非模仿动作，可吸收成功与失败的部署 rollout；推理时对 BC 采样做单步 Q 加权平均（价值引导动作选择），在线自改进只微调 Q 函数，BC 权重全程冻结
- 结果：LIBERO 与双臂 RoboTwin 上经十轮自改进，LIBERO-10 从 93 提升到 99%，RoboTwin 从 83.8 提到 91.4%；两个接触丰富的双臂真机任务中，同一闭环在无人类干预下纯靠自身 rollout 持续提升
所属事件:Q-Planning 让冻结机器人策略靠小 Q 函数自我改进(3 条相关)→
「具身」频道最新
- ANYbotics 防爆四足机器人 ANYmal X 开始向客户交付，全球首个 — lukas_m_ziegler · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 周末懒得整理桌面？博主让机器人代劳清理全程实拍 — flngr · 2026-11-02
- Whoop 与 Apple Watch 双持同一条表带，健康监测两不误 — tinyfool · 2026-11-02
- REA 提出「大脑-小脑」异步机器人控制运行时，运行策略不等大脑 — Pengfei Zhou · 2026-11-02
- 机器人格斗正式登陆日本，东京将设常设竞技场 — cixliv · 2026-11-02