JHU 研究：四类失败数据如何影响机器人奖励模型

约翰霍普金斯大学团队发布论文《The Right Kind of Wrong: Counterfactual Data for Reward Learning in Manipulation》，研究一个机器人 RL 的实操问题：训练操作任务的奖励模型时，应该收集什么样的失败（反事实）数据。

已确认

• 团队系统比较了四种失败数据来源：kinesthetic teaching（物理示教）、策略 rollout、人类视频和 real2sim，考察它们对机械臂操作任务奖励模型质量的影响
• 在三个任务上的结果显示，四种数据源都能提升平均成功率
• 成本差异显著：物理示教和遥操作成本很高，而人类视频和 real2sim 成本很低；廉价来源（人类视频、real-to-sim）在低数据量时收益明显
• 缩放分析显示，增加失败数据初期可提升离线奖励质量，但随后进入平台期甚至造成损害——更多失败数据不必然带来更好的奖励模型
• 仿真保真度的影响与数据规模相关：小数据量时，低保真仿真即可匹配高保真仿真的效果；随着数据增加，高保真版本的优势才逐渐显现并保持领先

为什么重要

• 该研究为机器人奖励模型的数据采集策略提供了直接指导：与其高价采集示教/遥操作数据，不如优先利用人类视频和 real2sim 等廉价来源，在低数据量区间即可获得明显收益
• 「失败数据越多越好」的直觉被证伪，缩放曲线先升后降的发现对数据预算规划和奖励模型训练流程都有参考价值
• 仿真保真度的结论同样具有实用价值：小规模数据下无需投入高保真仿真，可显著降低采集与训练成本

2026-11-06 ~ 2026-11-06 · 7 条相关

• JHU 研究：四类失败数据如何影响机器人奖励模型质量 — mangahomanga · 2026-11-06
• 该收集哪些「失败」数据？机器人奖励模型研究对比四种数据来源 — mangahomanga · 2026-11-06
• 【源头】研究：人类视频与 real2sim 数据低成本逼近示教训练机器人奖励模型 — mangahomanga · 2026-11-06
• 失败数据并非越多越好:JHU 揭示奖励模型缩放会先升后降 — mangahomanga · 2026-11-06
• 机器人仿真保真度多高才够？失败数据越多未必奖励越好 — mangahomanga · 2026-11-06
• 仿真失败要多逼真?小数据下低保真即可,数据多时高保真占优 — mangahomanga · 2026-11-06

另有 1 条近重复转述:mangahomanga