JHU 研究：四类失败数据如何影响机器人奖励模型质量
mangahomanga · x · 2026-11-06
约翰霍普金斯大学论文《The Right Kind of Wrong: Counterfactual Data for Reward Learning in Manipulation》研究一个实操问题：训练机器人 RL 的奖励模型时，有限的采集预算该投给哪类「反事实失败」数据。
研究设计
- 对比四种失败来源：动觉示教（KT）、策略 rollout、人类视频、real2sim 合成 rollout
- 固定五项真实操作任务与成功演示，通过 LoRA 微调和冻结模型 few-shot prompting 两种方式训练奖励模型
- 在 250 条人工标注的 held-out rollout 基准上评估轨迹排序、部分完成度校准与成功检测
- 并将选出的奖励模型用于 π₀ 的 RL 后训练，验证离线奖励质量能否转化为真实机器人行为提升
核心问题是：廉价的可扩展反事实数据源（如 real2sim）能否比少量昂贵的真机失败数据更划算。
所属事件:JHU 研究：四类失败数据如何影响机器人奖励模型(7 条相关)→
「具身」频道最新
- 神操作：MacBook Pro 被改成触摸屏，直接搓玻璃玩王者荣耀 — xiaohu · 2026-11-06
- 研究者分享与 Stanford 合作的机器人研究方向及 BARS 演讲 — Fowe · 2026-11-06
- 哈佛/NVIDIA 等发布 RAX：冻结模型权重，靠技能库让机器人成功率 26%→94% — jiqizhixin · 2026-11-06
- 开源机器人操作 Agent 框架：Qwen3.8 得分 31.39 超越 GPT-6 Astra — aigclink · 2026-11-06
- 开发者为双屏 iPhone Duo 打造海战游戏,双机对打还能挑战 AI — HankYeomans · 2026-11-06
- Wayve Driver 旧金山市区实测demo体验分享 — Sethwinterroth · 2026-11-06