上海 AI 实验室开源 EgoExplorer:可穿戴管线采集全身移动操作数据

量子位 · wechat · 2026-11-18

上海人工智能实验室 InternRobotics 团队发布 EgoExplorer,一套可穿戴、无需改造环境的视觉-运动-触觉数据采集管线,面向人形机器人全身移动操作研究。

采集系统:5 个 VIVE Ultimate Tracker(头、双手背、双踝)+ 数据手套(MANUS Metagloves 测手指关节,Wuji 手套额外测 17 区触觉)+ GoPro 头戴相机,同步输出 30Hz 的第一视角视频、SMPL-X 全身运动、手指关节与 24×31 触觉阵列,数分钟完成佩戴,支持多地点并行采集。

全身重建 C³ 管线(Calibrate-Complete-Constrain):先标定身体-传感器几何,再以扩展到 5 锚点的 AvatarPoser 补全 17 个未观测关节,最后做骨骼/表面/地面三层约束。全身点误差 18.0mm,比最强基线 64.1mm 降低 71.9%;消融显示不做安装标定误差会升至 95mm 以上。

数据与验证:在化学实验室、工厂、客厅等 5 类环境采集 10 类任务共 100 小时(含失败恢复片段),专家引导步骤级标注;联合生成世界模型优于分模态建模(视频 PSNR 15.94→16.62dB),并将称量、反应搭建等人类动作重定向到 Unitree G1 仿真跟踪。

代码已在 GitHub 开源,数据以 LeRobot v3.0 格式发布于 HuggingFace。

原文链接 →

「具身」频道最新

更多「具身」频道 AI 资讯 →