SURE-Map: Self-Correcting Streaming Geometric Foundation Model
Mingkai Liu, Hao Zhao, Xingxing Zuo
cs.CV
2026-09-15
给冻结的 LingBot-Map 加上跨视几何不确定性和多时间尺度尺度重标定,KITTI 平均轨迹误差从 24.00 米降到 17.24 米,加回环后到 15.17 米。
流式几何基础模型正在替代传统 SLAM:来一帧就预测位姿和稠密深度,不必显式匹配和反复做后端优化。代价是每次预测只能看有限上下文。动态物体、弱纹理、重复结构会让局部位姿和几何出错,这些小误差在长轨迹上会积成尺度漂移。
现有两条路都不舒服。SLAM 混合系统把前馈先验塞进关键帧管理和位姿图,全局一致性好,但把低延迟吃掉了。离线前馈方法一次看完整段或大块,精度高,但不能严格在线。LingBot-Map、HorizonStream 这类流式模型把记忆压得很紧,局部尺度往往还稳,跨段却没有对齐约束,段与段之间的尺度会慢慢走偏。
SURE-Map 挂在冻结的 LingBot-Map 骨干上,只训练一个跨视几何不确定性头。骨干已经给出相邻帧的位姿和深度,由此可以解析地算出位姿-深度诱导的光流。不确定性头吃两帧的几何 token,输出每个像素水平和垂直方向的对数方差。训练时用 TartanAir 的真值光流做残差,负对数似然逼头去给大残差分配更大的不确定度。推理时不再显式预测光流场,直接吐对应关系可不可信。
这张图有两个用法。一是滤点:只反投影深度有效且标量不确定度足够低的像素,动态区和歧义区的浮点会被丢掉。骨干自带的深度置信度主要反映单视几何可不可靠,滤点消融里它会误删有效结构。二是局部平移优化:旋转锁住,用点到平面残差、按不确定度加权,做少量高斯-牛顿迭代。锁旋转是为了不让尺度或对应残差乘进旋转误差。
局部修不好慢慢攒起来的尺度。SURE-Map 再加一条慢路径:按固定步长和光流幅度维护稀疏关键帧窗,对窗口做一次全注意力联合推理,用逆深度拟合把窗口深度对齐到流式深度,再比较窗口内相对平移长度,得到段尺度因子。最近一段边只改平移:尺度重标定的平移和局部优化的平移按超参数 μ 融合。可选的回环用缓存的 DINOv2 特征检索重访帧,再进位姿图。
轨迹在 KITTI、Oxford Spires、VBR 上评,稠密重建在 Neural RGB-D 和 7-Scenes 上评。KITTI 平均 ATE-RMSE:LingBot-Map 24.00 米,HorizonStream 22.38 米,SURE-Map 17.24 米,加回环 15.17 米。Oxford 从 5.11 到 4.74,加回环 4.63。VBR 从 31.37 到 28.58,加回环 22.12。消融显示,拿掉尺度重标定,三个基准会退回 5.11 / 24.00 / 31.37,几乎等于原骨干。
稠密重建上,Neural RGB-D 的 F1 从 LingBot-Map 的 65.10 到 66.20,精度从 0.074 米到 0.067 米;完整度从 0.030 米略差到 0.035 米。用深度置信度滤点,Chamfer 从 0.051 恶化到 0.084。KITTI 序列 04 上,吞吐从 11.68 FPS 降到 9.17,每帧多 15 到 30 毫秒。
| 方法 | KITTI ATE | Oxford ATE | VBR ATE |
| LingBot-Map | 24.00 | 5.11 | 31.37 |
| HorizonStream | 22.38 | 8.87 | 29.68 |
| SURE-Map | 17.24 | 4.74 | 28.58 |
| SURE-Map 加回环 | 15.17 | 4.63 | 22.12 |
流式几何模型要上长轨迹,光会预测不够,还得能发现自己哪一步不可信。跨视不确定度问的是「位姿加深度能不能对上像素对应」,比单视深度置信度更贴近关联质量。多时间尺度把快路径的低延迟和慢路径的长程证据拆开,不必把整段送进全注意力。对已经在用 LingBot-Map 一类骨干的人,这是可插拔的纠错层,不是重训一个更大的流式模型。
KITTI 上 7 米的平均降幅主要来自尺度重标定,Oxford 上只有 0.37 米,增益并不均匀。
骨干冻结,纠错能力受 LingBot-Map 局部预测上限约束。不确定性头只在 TartanAir 上用真值光流训,跨域到驾驶和室内时,图的标定未必准。局部优化锁死旋转,旋转漂移只能靠回环兜。VBR 上不加回环的 28.58 米仍高于 HorizonStream 加回环的 22.87 米,回环质量会左右长轨迹名次。滤点会牺牲一点完整度。论文没有单独的局限节,也没有报告不确定度头在动态物体上的定量检出率。