研究：人类视频与 real2sim 数据低成本逼近示教训练机器人奖励模型

mangahomanga · x · 2026-11-06

作者分析不同数据源为机械臂操作任务适配奖励模型的相对效果：kinesthetic teaching（物理示教）和遥操作成本很高，而人类视频和 real2sim 成本很低。

在三个任务上的结果显示，四种数据源都能提升平均成功率；其中人类视频与 real2sim 带来的增益尤其强，性能接近昂贵的物理示教和策略 rollout 采集的数据。这意味着可以用「廉价的失败数据」大幅降低真实世界 RL 的数据采集成本。