GeoCond: A Conditioning-Aware Reliability Adapter for Feed-Forward 3D Reconstruction
David Ahmedt-Aristizabal, Mohammad Ali Armin, Russell Tsuchida, Lars Petersson
cs.CV
2026-09-16
CSIRO 给冻结的 VGGT 加轻量可靠性头，用视差重叠等几何条件预测位姿不确定性并门控精修，室外 OOD 上 AUSE 从 0.32 降到 0.20。
VGGT 这类前馈 3D 基础模型一次前向就能出相机、深度和点图，比经典 SfM 快。失败可以很安静：两帧几乎不重叠、视差太小、相对旋转接近 180 度时，相对位姿能错到几十度，像素级置信度还在报把握很大。
事后一律做 bundle adjustment（BA，用重投影误差把位姿和三维点一起再优化）也不行。几何约束够的配对，BA 能救；低重叠配对，BA 会把本来还行的前馈结果搞崩。缺的是位姿级的信任信号：这一对相对位姿该留、该修、该扔，还是该再拍一张。
GeoCond 是挂在冻结骨干上的小 MLP，约 1.96 万参数。它不改 VGGT，只读骨干自己预测的几何，抽出 7 个标量：预测视差、共视比例、基线长度、相对旋转幅度、相机头对旋转和位移的修正量、以及把原生置信度取负后的均值。再拼上相对位姿的四元数和单位平移方向，输出三件事：位姿不确定性 u、是否做几何精修的门控 g、可选的 SE(3) 残差。
训练时骨干冻住，教师信号有三条路。默认 VGGT 设定把同一组图打乱顺序跑 K=6 次，相对平移方向如果跟着排列变，说明这对不稳定（orbit variance）。有标注时直接用位姿误差。没标注时用独立位姿图的环闭合残差，Rij Rjk Rki 该是单位阵。最后这条路对 π³ 这种排列等变模型尤其有用，因为它的 orbit variance 会消成零。
推理默认只需一次骨干前向加小 MLP。十对只要 0.17 ms，大约是一次 95.6 ms 骨干前向的 0.2%。
主实验冻 VGGT-1B。室内用 7-Scenes，室外极端视角用 MegaUnScene。低视差时 7-Scenes heads 中位误差从高视差的 3.0° 升到 17.4°；MegaUnScene 从 3.3° 到 44.2°。office 场景重叠小于 0.01 的配对中位误差 42.2°，54% 是超过 30° 的灾难失败。
| 设置 | 指标 | GeoCond | 对照 |
| 场景划分 OOD | AUSE↓ | 0.20 | 原生置信度 0.32 |
| 室内 | AUSE↓ | 0.17 | 原生 0.19；K=6 教师 0.17 |
| 室内精修后 AUC@30↑ | 53.5 | 前馈 51.6；一律 BA 53.6 | |
| OOD 精修后 AUC@30↑ | 58.4 | 前馈 60.3；一律 BA 38.4 |
OOD 上门控的价值是挡住有害精修，不是把每对都修得更好。去掉相机头修正项，OOD AUSE 从 0.209 升到 0.273；只用四个几何标量则崩到 0.359。五成员 deep ensemble 和 MC-dropout 的 OOD AUSE 约 0.20，但要大约五次骨干前向。
下游也能用同一个分数。不确定性加权旋转平均把 MegaUnScene 全局旋转中位误差从均匀权重的 15.1° 降到 12.7°。自适应采集用约 3.0 帧达到全 8 帧的精度，原生置信度要 3.85 帧。伪标签在灾难率 α=0.10 时保住 64%，原生只有 36%。
前馈 3D 已经快到能当模块用，缺的是信任接口。GeoCond 不承诺把每对位姿算得更准，它回答该不该信。对做 SLAM 前端、位姿图融合、采集规划的人，这是可以即插的一层。骨干冻结、推理单次前向，部署成本低。
作者写得很清楚：K 次排列教师在算力够时仍然更强；绝对失败概率的校准是域相关的，排序比概率尺度更经得起迁移；当原生置信度已经能跟上主失败模式时，可能需要目标域监督。评测停在相对位姿 AUC、不确定性排序、留存配对质量和旋转平均前端，完整 SfM/SLAM 轨迹误差还没做。OOD 上门控的最终 AUC@30 是 58.4，仍低于一直用前馈的 60.3，「精修门」在极端视角上是保险丝，不是加速器。