重力加仿射特征,未知焦距绝对位姿从4点降到1个对应

Gravity-aware partially calibrated absolute pose estimation from affine- or rotation-covariant features

Marcus Valtonen Örnhag, Alberto Jaenal, Stefan Adalbjörnsson

cs.CV

2026-08-20

Ericsson给出两个解析求解器:一条仿射对应的UP1PfAC、两条方向协变特征的UP2PfORI,在已知重力下联合求绝对位姿和焦距,RANSAC采样从四点降到一两点。

这篇在解决什么

绝对位姿加未知焦距(PnPf)有7个自由度,传统最小解要3.5个点对应,RANSAC里采样贵。手机、无人机、XR头显都有IMU,重力能把旋转收到只剩绕竖直轴的一个角。SIFT这类描述子还带尺度和方向,甚至能近似局部仿射。这些局部几何此前用在相对位姿和已标定绝对位姿上,半标定(未知焦距)的绝对位姿还没人做。

方法

查询相机旋转写成Ry(未知偏航)乘Rxz(重力对齐的已知部分),偏航用半角正切r=tan(θ/2)参数化。焦距f乘进仿射约束和点约束,得到关于平移、r、f的多项式。

UP1PfAC用一条仿射对应:4个仿射方程加2个点方程,未知量5个,扔掉一条仿射方程。对平移线性,系数矩阵必须有非平凡零空间,子式消元后得到r的四次方程,解析求根,回代f和平移。没用上的那条仿射方程拿来挑根,RANSAC里每个样本只留一个假设。

UP2PfORI用两条只有方向的特征(如ORB):一条方向协变约束加四点方程,同样化成r的四次方程,第二条方向约束挑根。两条对应可以来自不同参考图,方便HLOC那种多参考检索。

重力已知所以叫upright。半角正切盖不住180°旋转,做法是给变量加随机旋转。

结果

无噪声合成里,估焦距的求解器中UP1PfAC和UP2.5Pf最稳,多数误差低于10^{-12}。

单次求解中位时间(纳秒):UP1PfAC 2586,UP2PfORI 2149,P3.5Pf 19118,P4Pf 3179,UP2.5Pf 642。P3.5Pf慢一个数量级。50%外点的RANSAC里,两点以下的采样让找内点更快。

Cambridge Landmarks,SuperPoint+LightGlue,未知焦距组:

场景UP1PfAC 位置/旋转/焦距P4Pf
GreatCourt57.7cm / 0.13° / 0.00961.5cm / 0.14° / 0.010
ShopFacade10.6cm / 0.26° / 0.00814.6cm / 0.30° / 0.011

五个场景上半标定求解器里UP1PfAC误差和时间都更好。已知焦距的UP2P在GreatCourt是31.6cm,半标定仍要为焦距歧义付平移误差。

Aachen白天SuperPoint:UP1PfAC在0.25m/2°召回48.5%,P4Pf为46.1%,已知焦距UP2P是71.8%。夜间UP2PfORI 62.3%,对P4Pf的54.5%。非线性精炼会把半标定各求解器的终值拉近,真正拉开的是时间。

为什么重要

这是渐进但很具体的几何视觉改进:同样估焦距,假设从4点降到1条仿射或2条方向特征,RANSAC的采样指数变好。XR、无人机这种有IMU、要在未知内参设备上重定位的场景,用得上。1点仿射比2点方向更准,也更贵;ORB这类便宜特征可以走UP2PfORI。

局限与存疑

平移精度明显差于已知焦距求解器,焦距歧义在Cambridge上能差出20cm以上。查询图被假定竖直,头显大幅度俯仰时Rxz会错。仿射由尺度和方向近似,SuperPoint还要另跑S3Esti估方向。法向用200个近邻估,重建噪声会进约束。IMU噪声实验只做到消费级约0.2°。Aachen上半标定相对全标定掉20多个点的召回,换求解器补不回来。论文没有单独的局限节,这些是实验自己暴露的。

术语

原文与代码

社区讨论

相关论文

全部论文解读