Rice 大学发布 RoboTok:用 3D 手部轨迹从网络视频检索机器人演示数据

CSProfKGD · x · 2026-09-05

Rice 大学与 NVIDIA 合作推出 RoboTok,一个互联网规模的机器人学习数据引擎,被称为「机器人的 TikTok」。核心思路:机器人灵巧操作学习需要海量多样的人类演示,但真机数据采集昂贵。RoboTok 将每段视频表示为「演员为中心参考系」下的规范化 3D 手部轨迹,不受相机视角、场景外观和遮挡影响,由此按手部运动相似度从网络视频中检索与查询演示相关的片段,而非按标签或外观匹配。在检索基准和下游机器人策略任务上,RoboTok 检索到更相关的演示并提升了任务成功率,验证了手部轨迹感知检索可让网络视频成为可持续增长的操作学习监督来源。论文、代码与数据模型已开源,在线 Demo 即将推出。