上海 AI 实验室开源 InfiniHand：5000 小时第一视角视频重建三维手部动作，误差降 63%
量子位 · wechat · 2026-10-14
上海人工智能实验室联合上海交大等高校提出 InfiniHand，用单一流式模型联合估计手部位置、手部形态与相机轨迹，把第一视角视频中的手部动作恢复到共享世界坐标系，为具身智能提供大规模三维示范来源。
方法
- 用预训练 LingBot-Map 骨干从完整画面提取几何特征定位手部，手部重建模块融合局部外观补足手指细节，输出 MANO 参数化手模型，再结合相机轨迹变换到世界坐标系。
- 替代传统「检测器+姿态网络+SLAM」多系统串联方案，避免检测抖动、轨迹漂移与尺度偏差层层传递。
- 流式处理：窗口式接收视频，保留初始参考帧、近期细节与压缩记忆，配合后台稀疏束调整修正长序列漂移。
数据与训练
- 汇集 ARCTIC、HOT3D、EgoDex 等 9 个公开数据集约 5000 小时视频；用 Sapiens2 校验标注投影一致性，剔除 30%–40% 低质数据。
- 两阶段训练：先学相机空间手部定位与精细重建，再引入相机轨迹与时序监督。
结果
- 预测吞吐 11.19FPS，约 HaWoR 的 2.04 倍。
- PA-p 误差在四个数据集均为最低：ARCTIC 较 ViDiHand 降 21.4%，EgoDex 降 57.7%；世界坐标系 W-MPJPE 上 EgoDex 较 Dyn-HaMR 从 78.41mm 降至 28.77mm（-63.3%）。
- Ego4D 自然场景显示遮挡与分布外泛化能力。
论文与代码已公开（arXiv:2609.35743），该管线经质量筛查与机器人形态适配后可用于灵巧手数据增广与模仿学习。
「具身」频道最新
- Optimus 机器人开特斯拉 Roadster 夜间上路炫技 — debreuil · 2026-10-16
- Qdrant Edge 给 Reachy Mini 机器人装上本地语义记忆 — tomaarsen · 2026-10-16
- 特斯拉新 Roadster 冷气推进拆解:SpaceX 储罐+Optimus 阀门 — XFreeze · 2026-10-16
- 博主批 Figure 终结者式演示作秀:人形机器人离实用还远 — FuSheng_0306 · 2026-10-16
- Snap 眼镜+Gemini 4 Argon:拍乐高堆即设计全息拼搭教程 — stspanho · 2026-10-16
- Waymo 官宣进军多伦多,自动驾驶出租再下一城 — ChrisArchitect · 2026-10-16