上海 AI 实验室开源 EgoExplorer:可穿戴管线采集全身移动操作数据
量子位 · wechat · 2026-11-18
上海人工智能实验室 InternRobotics 团队发布 EgoExplorer,一套可穿戴、无需改造环境的视觉-运动-触觉数据采集管线,面向人形机器人全身移动操作研究。
采集系统:5 个 VIVE Ultimate Tracker(头、双手背、双踝)+ 数据手套(MANUS Metagloves 测手指关节,Wuji 手套额外测 17 区触觉)+ GoPro 头戴相机,同步输出 30Hz 的第一视角视频、SMPL-X 全身运动、手指关节与 24×31 触觉阵列,数分钟完成佩戴,支持多地点并行采集。
全身重建 C³ 管线(Calibrate-Complete-Constrain):先标定身体-传感器几何,再以扩展到 5 锚点的 AvatarPoser 补全 17 个未观测关节,最后做骨骼/表面/地面三层约束。全身点误差 18.0mm,比最强基线 64.1mm 降低 71.9%;消融显示不做安装标定误差会升至 95mm 以上。
数据与验证:在化学实验室、工厂、客厅等 5 类环境采集 10 类任务共 100 小时(含失败恢复片段),专家引导步骤级标注;联合生成世界模型优于分模态建模(视频 PSNR 15.94→16.62dB),并将称量、反应搭建等人类动作重定向到 Unitree G1 仿真跟踪。
代码已在 GitHub 开源,数据以 LeRobot v3.0 格式发布于 HuggingFace。
「具身」频道最新
- 拇指大小的 Tokkey 硬件登场:让旧 Mac 本地跑大模型 — TejasKumar_ · 2026-11-18
- 「最物理的 AI」:机器人搬数吨重石头,在 Web Summit 现场演示现实世界难度的含义 — MarvinTBaumann · 2026-11-18
- StellarEdge Auriga 技术报告:VGLM 决策接入可验证执行,42 任务成功率 57.74% — jiqizhixin · 2026-11-18
- 日本团队在冈山公道实测人行道自动配送机器人 — 4310sy · 2026-11-18
- Tesla Cybercab 上路数达 300 台,德州新注册 200 台、累计 773 台 — JOBhakdi · 2026-11-18
- 一体化农业机器人演示:耕地播种除草全包,拖拉机变全职劳动力 — TansuYegen · 2026-11-18