JHU 研究:哪些失败数据最能提升机器人 RL 奖励模型
mangahomanga · x · 2026-11-06
Johns Hopkins 团队发布论文《The Right Kind of Wrong: Counterfactual Data for Reward Learning in Manipulation》,系统比较了四种失败数据来源对机器人操作 RL 奖励模型的训练价值。
核心问题:真实 RL 需要能刻画任务进展与失败的奖励,但大规模机器人数据集几乎全是成功演示,在真机上采集失败数据又很贵——有限预算下该采集哪种失败?
四种失败来源对比(五个真实操作任务):
- 动觉示教(KT)
- 策略 rollout
- 人类视频
- real-to-sim rollout
方法与评测:固定任务集、成功示教与评测设置,通过奖励模型的 LoRA 适配与冻结模型 few-shot prompting 两种方式注入失败数据,在 250 条人工标注的 held-out rollout 上评测轨迹排序、部分完成度校准与成功检测,再用选出的奖励模型对 π₀ 做 RL 后训练验证。
论文、视频与代码均已开源。作者 Homanga Bharadhwaj 感慨真实世界 RL 之难,并称赞主导工作的 Gokul 的坚持。
所属事件:JHU 研究：四类失败数据如何影响机器人奖励模型(7 条相关)→
「具身」频道最新
- 想象中训练机器人策略：7.9 倍更少仿真数据匹敌 PPO — EpisodeYang · 2026-11-06
- 苹果机器人新机被曝用 Mac Mini 当大脑,Jeson 只跑追踪 — micoolcho · 2026-11-06
- Microdock v2:机器人入坞时坐下,让全部舵机断电省电 — natesiggard · 2026-11-06
- 22 小时组装一台 Asimov 机器人，开箱即正常运行 — whurley · 2026-11-06
- NEO-VLA 去掉视觉编码器：原生 VLA 预训练在 RoboTwin 上验证有效 — liuziwei7 · 2026-11-06
- UP Summit 实拍金色 Cybercab 与 Optimus 机器人亮相 — DMaguireARK · 2026-11-06