失败数据并非越多越好:JHU 揭示奖励模型缩放会先升后降
mangahomanga · x · 2026-11-06
JHU 机器人 RL 论文线程(4/n):更多失败数据不必然带来更好奖励。
缩放分析显示:增加失败数据初期可提升离线奖励质量,但随后会进入平台期甚至造成损害——廉价来源(人类视频、real-to-sim)在低数据量时收益明显,超过某个规模后反而让奖励建模变差。
在三个任务上,四类失败来源都让平均成功率超过基础奖励模型,其中人类视频与 real2sim 增益强劲,接近动觉示教与策略 rollout 的水平。
所属事件:JHU 研究：四类失败数据如何影响机器人奖励模型(7 条相关)→
「具身」频道最新
- 想象中训练机器人策略：7.9 倍更少仿真数据匹敌 PPO — EpisodeYang · 2026-11-06
- 苹果机器人新机被曝用 Mac Mini 当大脑,Jeson 只跑追踪 — micoolcho · 2026-11-06
- Microdock v2:机器人入坞时坐下,让全部舵机断电省电 — natesiggard · 2026-11-06
- 22 小时组装一台 Asimov 机器人，开箱即正常运行 — whurley · 2026-11-06
- NEO-VLA 去掉视觉编码器：原生 VLA 预训练在 RoboTwin 上验证有效 — liuziwei7 · 2026-11-06
- UP Summit 实拍金色 Cybercab 与 Optimus 机器人亮相 — DMaguireARK · 2026-11-06