InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video
Kerui Ren, Kaiwen Song, Weiguang Zhao, Yuxi Wang, Yufei Liu, Bo Dai, Haoyu Guo, Chunhua Shen, Mulin Yu, Tao Lu, Junting Dong
cs.CV
2026-09-29
上海人工智能实验室提出InfiniHand,将手定位、MANO和相机轨迹收进流式前馈网络;约5000小时预训练后,ARCTIC上相对ViDiHand的PA-p降21.4%,推理11.19 FPS。
第一人称视频里的手要变成机器人能用的几何演示,必须同时估出关节手网格,并把相机自身运动从手里拆干净。现成管线把这两件事交给不同系统。HaWoR先做检测和跟踪,再接相机坐标系下的手重建网络,相机轨迹交给DROID-SLAM,尺度靠Metric3D补。检测抖动、相机漂移和尺度不一致会顺着级联往下传,工程负担也重。
WiLoR、HaWoR这类估计器几乎没在大量无约束第一人称视频上预训练,复杂交互和快速转头仍然容易垮。野生视频几乎不会自带3D手姿态和相机轨迹,这个缺口正好卡在具身学习要吃的数据前面。
InfiniHand把左右手定位、MANO参数和相机轨迹放进同一条流式前馈网络。骨干是流式3D基础模型LingBot-Map,用Geometric Context Attention维持一份可跨窗口传递的时空记忆:锚点特征定参考系,最近窗口留密特征,更早的观测压成轨迹token。
训练分两阶段。数据来自ARCTIC、HOT3D、EgoDex、DexYCB、HO3D、H2O3D、EgoVerse、EgoLive、Xperience-10M九个公开集,合计约5000小时,统一抽到10 FPS。没有现成MANO标注的,用3D关键点反拟合。清洗很狠:用Sapiens 2的2D关键点去对投影后的标注关节,序列误差超阈值就丢掉,大约30%到40%候选被扔掉。Stage I吃全部有效的相机系手标注,训30万步;Stage II只用带相机轨迹的子集,训10万步,时间布局是4个锚点加两段16帧窗口。
全图分辨率378×518,手框resize到256×256。推理时两个worker流水重叠窗口,第三个worker在关键帧池超阈值时后台跑BA。
相机系四个基准上Procrustes对齐后的关节误差PA-p都最低。ARCTIC 34个测试场景上,相对最强基线ViDiHand,从9.82 mm降到7.72 mm,对应摘要里的21.4%。检测几乎打平:InfiniHand的FAcc / Recall / F1为0.993 / 0.996 / 0.998,ViDiHand为0.997 / 0.999 / 0.999。HOT3D上PA-p从ViDiHand的17.22 mm降到7.29 mm。EgoDex上PA-p只从13.96 mm降到12.11 mm,未对齐的MP-p反而从30.09 mm升到33.64 mm,对齐误差的优势不能当成所有几何指标都赢。
| 设置 | 指标 | InfiniHand | 对照 |
| ARCTIC相机系 | PA-p | 7.72 mm | ViDiHand 9.82 mm |
| HOT3D相机系 | PA-p | 7.29 mm | ViDiHand 17.22 mm |
| ARCTIC世界系 | W-MPJPE | 59.21 mm | WiLoR-SLAM 65.86 mm |
| EgoDex世界系 | W-MPJPE | 28.77 mm | Dyn-HaMR 78.41 mm |
| 速度 | FPS | 11.19 | HaWoR 5.48 |
世界系三条基准上,不做对齐的W-MPJPE都最低。ARCTIC相对WiLoR-SLAM从65.86 mm降到59.21 mm,只少10.1%。EgoDex相对Dyn-HaMR从78.41 mm降到28.77 mm,少63.3%。HOT3D上整段一次对齐的WA-MPJPE,HaWoR是35.02 mm,InfiniHand是35.76 mm,略差。
消融把账算清楚了。去掉WiLoR外观特征,ARCTIC的MP-p从17.09 mm升到33.31 mm。关掉稀疏BA,相机系指标不动,W-MPJPE从59.21 mm升到80.48 mm。跳过Stage II联合训练,W-MPJPE升到185.76 mm。用HaWoR的mask替换学出来的定位头,PA-p从7.72 mm升到25.50 mm。速度上WiLoR-SLAM为8.53 FPS,Dyn-HaMR仅0.81 FPS。野外只给了Ego4D和Xperience的定性图,没有MANO真值。
具身训练要的是「人怎么动手」的世界系轨迹,用来做人到机器人的动作迁移,或按检索到的人类示例做模仿。现有方案把SLAM和手估计拧在一起,慢而且脆。InfiniHand把这条链收成一次前馈加偶尔的稀疏BA,吞吐是HaWoR的2.04倍,少一截工程胶水。
对已经在用WiLoR或HaWoR标第一人称视频的人,这是可以跟进的替代路径,代码和项目页都公开。但它是渐进改进,不是新问题定义。ARCTIC世界系只比拼好的SLAM级联好一成,差距主要来自EgoDex绝对轨迹、相机系对齐误差和速度。尺度仍然靠外挂对齐,metric手轨迹还不能当成品量尺用。
论文自己点了三处。LingBot-Map没有内在度量尺度,要后处理对齐,误差会传到手的位置和全局轨迹。复杂大幅双手交互、快速转头、手时隐时现的高质量第一人称数据仍然少,野外泛化主要靠定性。单目标注本身带随时间变的尺度漂移,监督目标在长序列上并不自洽。
另外几处没说透。11.19 FPS是对比组里最高的吞吐,不是30 FPS实时,第三个worker的BA仍在吃算力。野外没有定量。ARCTIC世界系相对WiLoR-SLAM的10.1%很窄,和相机系21.4%的观感不一样。清洗丢掉三到四成数据,剩下的分布更干净,也更不像真正的野生视频。EgoDex相机系MP-p还不如ViDiHand,说明「全面SOTA」主要写在对齐误差和世界系绝对误差上。