Rice 与 NVIDIA 推出 RoboTok:用 3D 手部轨迹从全网视频挖机器人训练数据
CyberRobooo · x · 2026-09-05
Rice University 与 NVIDIA 发布 RoboTok,一个面向机器人操作学习的互联网规模数据引擎,思路类似「人形机器人的 TikTok」。
- 核心问题:机器人操作数据稀缺,人工采集昂贵且难覆盖长尾任务,需要从海量网络视频中挖掘有用的人类演示。
- 方法:不靠字幕或物体检索,而是把视频转化为躯干相对坐标下的 3D 手部轨迹嵌入空间,按相似手部动作检索片段,可跨视角、场景、遮挡变化比对,并支持持续索引互联网规模视频。
- 效果:在拧瓶盖、拧水龙头、拨杆、双手交接等灵巧操作任务上,三个高难度任务的成功率分别比最强基线提升 17.8、38.0 和 59.8 个百分点。
- 意义:确立「手部轨迹感知检索」作为网络视频成为机器人学习可扩展、持续增长监督源的路径,但网络数据能多大程度转化为真实世界的人形机器人能力仍是长期挑战。
所属事件:Rice 与 NVIDIA 发布 RoboTok，视频挖掘机器人训练数据(4 条相关)→
「具身」频道最新
- 特斯拉专利披露:平面印刷+热成型量产机器人指尖触觉传感器 — CyberRobooo · 2026-10-23
- 探访深圳机器人臂工厂:月产 2000 台、单价约 1.5 万美元 — DominiqueCAPaul · 2026-10-23
- Dexmal 开源 VLA 模型 DM0.5 登陆 LeRobot，登顶 RoboColiseum — AdinaYakup · 2026-10-23
- 男子用 Ray-Ban Meta 眼镜加 AI 下棋作弊被拍下 — CodeByPoonam · 2026-10-23
- 经典意义的世界模型 (s, a → s′)：充当神经版 MuJoCo 模拟器 — yshan2u · 2026-10-23
- Gen-HumanWholeBody 全身操作数据集开源:600 小时、1281 种人类技能 — AdinaYakup · 2026-10-23