VGGT-GS SLAM: Uncalibrated Monocular Gaussian Splatting SLAM with Feed-Forward Priors
Yuhang Han, Hao Wang, Jiaxi Cao, Xingyu Liu
cs.CV
2026-09-17
新加坡国立大学的VGGT-GS SLAM从VGGT位姿和深度先验起步,在子图内联合优化位姿、三维高斯和镜头畸变,TUM未标定平均ATE 3.04厘米,去掉高斯对齐会翻到7.20厘米。
多数三维高斯 SLAM 默认相机内参已知,不少还要 RGB-D。手机和监控视频通常两样都没有。前馈几何模型 VGGT、DUSt3R、MASt3R 能从单目图直接吐位姿和深度,但这些预测只是初始化:标定误差会被几何吃掉,子图之间的尺度也对不齐。
VGGT-GS SLAM 把 VGGT-SLAM 的子图组织留下来,把前馈输出变成可优化的高斯子图,在每张子图里同时改位姿、高斯属性和共享的内参加径向切向畸变,再用协方差感知的高斯对齐去修相邻子图的尺度、筛回环。
关键帧按位移阈值切成 24 帧新关键帧加 1 帧重叠的窗口,VGGT 给出外参、内参和带置信度的深度。深度反投影初始化高斯,共享内参取窗口平均,畸变从零开始。每个子图跑 550 步可微光束法平差,光度损失加带死区的相对深度损失和各向同性正则。第一帧位姿钉死当局部坐标,深度先验提供尺度锚。
标定梯度是手写的。对焦距、主点和五参数畸变,CUDA 里直接对二维高斯中心和协方差求导,渲染误差才能回头改镜头模型。畸变系数用 tanh 限幅,径向范围 2、切向 0.05。
子图之间的高斯原生对齐只优化对数尺度,旋转由共享关键帧的相机姿态钉住。匹配用高斯均值加学习到的协方差,而不是点中心。回环由 SALAD 检索,VGGT 给桥接变换,对齐模块只做验收:匹配损失和尺度修正过阈值才进 Sim(3) 位姿图,被接受的测量仍用原来的 VGGT 变换。
未标定单目、室内基准:
| 数据集 | 本方法 ATE | 对照 |
| TUM-RGBD 平均 | 0.0304 m | AIM-SLAM 0.031 m,标定 Splat-SLAM 0.030 m |
| 7-Scenes seq.01 | 0.055 m | VGGT-SLAM++ 0.064 m,相对降 14.1% |
| ScanNet 六段平均 | 0.090 m | VGGT-SLAM 2.0 的 0.103 m |
新视角合成在 Replica 平均 PSNR 39.100 dB、LPIPS 0.020,略过 HI-SLAM2 的 39.046 / 0.029;TUM 上 PSNR 24.484 dB,和 Splat-SLAM 的 24.413 接近,LPIPS 0.185 低于 HI-SLAM2 的 0.197。
消融里高斯对齐最值钱:去掉之后 TUM ATE 从 0.0304 升到 0.0720 m。关掉标定优化只升到 0.0324 m。95 张 Freiburg1 子图上,标定把投影误差从 14.791 降到 11.185 像素。回环验收比 VGGT-SLAM 2.0 少收假阳性(2 对 7),真阳性 249 对 247。默认设置全速约 3.16 FPS,非关键帧位姿估计吃掉总时间的 69%。后端接到 DA3-Large 或 Fast3R 上,ATE 仍降 22.7%–58.9%。
这是给「只有未标定 RGB」这条部署路径补的一条可复现基线,不是再做一个假设内参已知的室内高斯 SLAM。从业者能直接抄走的两块是:渲染链上的解析标定雅可比,以及用高斯协方差做尺度对齐和回环验收。3 FPS 谈不上实时,定位数字已经摸到标定系统的边。
结论写了,系统对先验质量和标定可观测性敏感,局部地图会变形,窗口带来延迟。实验全是室内短序列,没有户外公里级。TUM 上相对 AIM-SLAM 只好 0.6 毫米,排序很挤。非关键帧位姿占七成运行时间,工程上还没折完。畸变优化在对照实验里对投影误差帮助有限,内参才是大头。