Rice 大学发布 RoboTok:用 3D 手部轨迹从网络视频检索机器人演示数据
CSProfKGD · x · 2026-09-05
Rice 大学与 NVIDIA 合作推出 RoboTok,一个互联网规模的机器人学习数据引擎,被称为「机器人的 TikTok」。核心思路:机器人灵巧操作学习需要海量多样的人类演示,但真机数据采集昂贵。RoboTok 将每段视频表示为「演员为中心参考系」下的规范化 3D 手部轨迹,不受相机视角、场景外观和遮挡影响,由此按手部运动相似度从网络视频中检索与查询演示相关的片段,而非按标签或外观匹配。在检索基准和下游机器人策略任务上,RoboTok 检索到更相关的演示并提升了任务成功率,验证了手部轨迹感知检索可让网络视频成为可持续增长的操作学习监督来源。论文、代码与数据模型已开源,在线 Demo 即将推出。
所属事件:Rice 与 NVIDIA 发布 RoboTok，视频挖掘机器人训练数据(4 条相关)→
「具身」频道最新
- 特斯拉专利披露:平面印刷+热成型量产机器人指尖触觉传感器 — CyberRobooo · 2026-10-23
- 探访深圳机器人臂工厂:月产 2000 台、单价约 1.5 万美元 — DominiqueCAPaul · 2026-10-23
- Dexmal 开源 VLA 模型 DM0.5 登陆 LeRobot，登顶 RoboColiseum — AdinaYakup · 2026-10-23
- 男子用 Ray-Ban Meta 眼镜加 AI 下棋作弊被拍下 — CodeByPoonam · 2026-10-23
- 经典意义的世界模型 (s, a → s′)：充当神经版 MuJoCo 模拟器 — yshan2u · 2026-10-23
- Gen-HumanWholeBody 全身操作数据集开源:600 小时、1281 种人类技能 — AdinaYakup · 2026-10-23