100 小时视觉-动作-触觉数据集 EgoExplorer 助力人形机器人学习

InternRobotics · hf · 2026-10-14

EgoExplorer 是一个 100 小时的人类移动-操作（loco-manipulation）多模态观测数据集，用可穿戴采集系统同步记录第一视角视频、全身动作重建、细粒度手指关节与触觉观测，并附步骤级描述，聚焦职业活动场景。针对稀疏身体传感，团队提出 Calibrate-Complete-Constrain 流水线：先校准固定参与者几何与传感器位置，再用时间先验补全未观测关节，并施加层级约束保证测量一致性、时间连续性与几何一致性。相比最强基线，身体关键点误差降低 71.9%，手部稳定性与接触估计也有提升；初步实验验证了多模态生成与人形重定向仿真控制。