MEgoVista: Multi-view Ego-aware Motion Estimation for Metric 4D Hands and Head in the Wild
Jiangong Xiao, Zhihao Zhang, Yifei Dong, Chao Ma, Zhouyi Jin, Zhiwen Hou, Li Liu, Weihuang Chen, Hongbin Sun, Maoqing Yao
Northwestern Polytechnical University / Xi'an Jiaotong University / Maniformer
cs.CV
2026-09-15
头戴三鱼眼相机配合立体深度与全序列优化,MEgoVista在真实动捕场地测得指关节误差4.29毫米,头部轨迹误差低至0.65毫米。
从人类第一视角视频里学机器人操作,关键监督信号是手部的米制(带真实物理尺度)三维轨迹。现在能拿到这类标注的来源只有两种:摄影棚光学动捕(如ARCTIC、Assembly101)和带内向外追踪的头戴设备(如EgoDex用Apple Vision Pro录了820小时)。两者都困在准备好的场地里,离不开棚子或固定的桌面装置,精度也只靠设备出厂参数自证,没有拿独立参考系统验证过。像Ego4D这类真正在野外采集的大规模数据集,又根本不带三维米制标注。要规模化采集手部监督数据得走出摄影棚,但走出摄影棚的方法精度从没被真正核实过,这就是缺口所在。
MEgoVista是一套离线流水线,输入是自研头戴设备MEgo View录的视频(一个中央鱼眼相机加左右两个构成立体对,外加500Hz的IMU),输出是同一个重力对齐世界坐标系下的双手和头部米制轨迹。三个设计点决定了它和现有方法的差异:
头部轨迹部分同样讲究:三个鱼眼相机当作一个刚性整体的广义相机,用IMU的陀螺仪和加速度能量挑关键帧,避免头部快速转动时丢帧;初始尺度只在起点通过标定好的左右立体对三角化出一帧真实基线来注入,后续增量重建自由生长,可能漂移;重力方向等视觉重建全部跑完之后,单独从500Hz惯性流里读出来再整体旋转进去,目的是不让惯性误差污染视觉几何。
验证场景是一个26相机、120Hz的Chingmu商用动捕场地,设备正常佩戴、不额外加装标记,通过PTP时间同步与动捕系统对齐。校准链路先用棋盘格做held-out重投影检验,静止误差0.62-1.25像素,运动误差0.83-2.51像素。
头部轨迹(ATE RMSE,稳态):
| 方法 | Session 1 | Session 2 |
| ORB-SLAM3(离线精修) | 2.12mm | 0.92mm |
| MEgoVista | 2.83mm | 0.65mm |
| DROID-W | 26.18mm(18/22 episode,另4个尺度失败0.8-2.68倍) | 未测 |
| MASt3R-SLAM | 121.59mm(21/22 episode,另1个跟踪丢失) | 未测 |
ORB-SLAM3和MEgoVista互有胜负,差距在毫米级;DROID-W和MASt3R-SLAM分别有一部分episode尺度严重失败或跟踪丢失。MEgoVista单episode平均耗时206秒,比DROID-W(627.5秒)和MASt3R-SLAM(715.4秒)快3-3.5倍。
手部重建上,MEgoVista相对开源基线全面领先:
| 方法 | 检测F1 | PA-MPJPE-p(mm) | EPE-P(px) | 抖动(mm/frame²) |
| Dyn-HaMR | 0.84 | 49.18 | 96.42 | 3.50 |
| HaWoR | 0.98 | 16.30 | 83.10 | 16.71 |
| HaPTIC | 多人场景失效 | — | — | — |
| MEgoVista | 1.00 | 4.29 | 9.90 | 1.11 |
指关节姿态误差(去除整体朝向和手掌尺度后的PA-MPJPE-p)降到4.29毫米,比最强基线HaWoR的16.30毫米低70%;绝对位置误差EPE-P从83.10像素降到9.90像素,差了8.4倍。HaPTIC在佩戴者和路人同时出现的场景里直接失效,印证了身份归属在实拍里是个常见问题。
对做egocentric manipulation数据或human-to-robot retargeting的团队,这是一条可以走出摄影棚、又没有放弃精度验证的采集路线。4.29毫米的指关节误差和亚厘米头部轨迹,如果能在量产设备上复现,意味着可以让普通人日常戴着设备做家务、维修之类的任务,直接产出带物理尺度的手部监督,不必依赖固定摆放的动捕棚或Apple Vision Pro这类昂贵头显。更关键的一点是方法论:尺度只能在初始化时靠标定硬件注入,靠后续优化去对齐补救不回来,这也是DROID-W和MASt3R-SLAM两个基线尺度经常崩掉的根本原因。
论文自己承认,动捕参考值本身没有被完全独立验证:棋盘格重投影只检验了动捕到相机的刚性坐标变换,没有检验供应商那套标记点到骨架求解器本身是否准确。论文设了一套规则剔除明显的求解器失败(手指冻结、误差尖刺、指尖-标记点距离超过40毫米),但只能抓到离散突变,抓不住缓慢漂移,这部分残留误差会被算到MEgoVista头上。拟合出的尺度偏差和实际误差之间相关性很弱且方向不稳定(两个session分别是r=+0.30和r=-0.44),说明尺度准不能简单当作轨迹准的代理指标。头部轨迹上MEgoVista和ORB-SLAM3谁更准还要看场次,并非稳定领先。论文自己也说,下一步该补更好的估计算法还是更好的参考系统,目前还没有定论。