UMI 论文成机器人创业公司数据采集通用底座

Universal Manipulation Interface(UMI)是一种简单高效的操作数据采集方法:人类手持特制夹爪直接完成日常任务,采集的数据可直接用于训练控制机器人的策略。@gabriberton 在推文串中指出,许多机器人创业公司正是建立在这篇论文之上,并以五步详解了完整流程。

已确认

• 演示接口设计:双手各持一个带相机和 IMU 的夹爪,直接执行洗碗等真实任务,过程中只用夹爪接触物体;硬件细节包括腕挂 GoPro 鱼眼相机、侧面镜子提供隐式立体视觉、IMU 姿态跟踪与连续夹爪跟踪
• 轨迹恢复:IMU 单独使用噪声过大,采用结合视频与 IMU 的 SLAM 恢复夹爪运动轨迹;MoCap 基准显示平均误差为单夹爪 ATE 位置 6.1mm、旋转 3.5°(另含双夹爪间指标)
• 数据规模化的最后一步是在大量任务上重复采集数据;作者开玩笑称做到这一步「恭喜,你就有了一个价值 10 亿美元的机器人创业公司」
• 论文背景:由 Stanford、Columbia 与 Toyota Research Institute 团队发布,是 RSS 2024 最佳系统论文入围项目;核心思路为用手持夹爪采集人类示范,零样本迁移到多平台机器人

为什么重要

UMI 提供了一条低成本、可规模化的数据采集路径:不需要昂贵的遥操作设备或真机自主运行,只需手持夹爪与 SLAM 后处理即可得到带精确轨迹的演示数据,并可直接训练策略、零样本迁移到不同机器人平台——这正是众多机器人初创公司选择的共同技术路线。

2026-11-03 ~ 2026-11-03 · 6 条相关

• UMI 论文成机器人创业公司数据采集的通用底座 — gabriberton · 2026-11-03
• 【源头】手持夹爪+SLAM 采集数据:详解催生多家机器人创业公司的 UMI 方法 — gabriberton · 2026-11-03
• UMI 第 3 步:IMU 太噪,用视频+IMU 的 SLAM 恢复夹爪轨迹 — gabriberton · 2026-11-03
• UMI 第 1-2 步:手持带相机 IMU 的夹爪直接做洗碗等真实任务 — gabriberton · 2026-11-03
• UMI 收官:批量采集数据,「恭喜你拥有一个 10 亿美元机器人创业公司」 — gabriberton · 2026-11-03
• 【源头】UMI 手持夹爪采集人类示范,零样本迁移到多平台机器人 — gabriberton · 2026-11-03