RoboTok 数据引擎:用 3D 手部轨迹检索全网演示视频,灵巧任务成功率最多提升 59.8 个百分点
CyberRobooo · x · 2026-09-05
Rice University 与 NVIDIA 团队(Howard Qian、Bowen Wen、Kaiyu Hang 等)发布 RoboTok,一个互联网规模的机器人操作学习数据引擎,论文、代码与数据模型已开放。
- 方法:给定一段查询人类操作视频,RoboTok 将网络人类演示视频组织到躯干相对参考系的 3D 手部轨迹嵌入空间中,检索手部动作相似的片段;该表征能跨相机视角、场景外观与演员遮挡进行行为比对,且足够紧凑,可对互联网规模视频做高效搜索与持续索引。
- 动机:机器人学习依赖广泛多样的演示,但机器人数据采集昂贵且难覆盖真实任务长尾,RoboTok 让网络视频成为可扩展、持续增长的监督来源。
- 结果:在检索基准与下游机器人策略性能上,RoboTok 检索出更相关的操作演示,并在三个高难度灵巧任务上较最强基线分别提升 17.8、38.0、59.8 个百分点的成功率。
所属事件:Rice 与 NVIDIA 发布 RoboTok，视频挖掘机器人训练数据(4 条相关)→
「具身」频道最新
- 特斯拉专利披露:平面印刷+热成型量产机器人指尖触觉传感器 — CyberRobooo · 2026-10-23
- 探访深圳机器人臂工厂:月产 2000 台、单价约 1.5 万美元 — DominiqueCAPaul · 2026-10-23
- Dexmal 开源 VLA 模型 DM0.5 登陆 LeRobot，登顶 RoboColiseum — AdinaYakup · 2026-10-23
- 男子用 Ray-Ban Meta 眼镜加 AI 下棋作弊被拍下 — CodeByPoonam · 2026-10-23
- 经典意义的世界模型 (s, a → s′)：充当神经版 MuJoCo 模拟器 — yshan2u · 2026-10-23
- Gen-HumanWholeBody 全身操作数据集开源:600 小时、1281 种人类技能 — AdinaYakup · 2026-10-23