Dual Covariance Gaussian Splatting SLAM: Decoupling Rendering and Registration for Robust Real-Time Tracking
Edward Beng Wai Tan, Siew-Kei Lam
cs.RO, cs.CV
2026-09-22
南洋理工给每个3D高斯留两份协方差：一份给渲染，一份来自RGB-D噪声模型给ICP。无纹理无结构场景ATE从约195cm降到1.67cm，追踪约60FPS。
早期 3DGS SLAM 用可微渲染做光度追踪，桌面 GPU 上常只有个位数 FPS。GS-ICP SLAM 一类方法改用 ICP，把地图高斯既当渲染原语又当点云。问题是同一份协方差被两头拉：建图为了压光度误差，常把高斯拍扁贴在表面上，法向尺度趋近于零；配准却需要这份形状表达测量不确定度。拍扁之后，优化会在法向上给出虚假的高精度。几何本身病态时（一整面墙、无结构平面），再怎么改权重也补不回可观测性。南洋理工大学把两件事拆开。
每个高斯共用一个均值，挂两份协方差。渲染协方差 Σr 仍由 mapper 优化外观。追踪协方差 Σt 在关键帧或新生时，按当前观测的 RGB-D 噪声模型写入：沿射线的距离噪声走结构光常见的 A+Bz²，垂直射线的横向噪声按 0.5 像素足迹换算。观测侧再叠上 ICP 关联半径在切平面上的模糊。配准用 Generalized-ICP 的马氏距离，地图用 Σt，不再用被拍扁的 Σr。
第二项是图像残差。深度在弱几何方向上给不出约束，于是在关键帧把 KLT 角点反投到邻近高斯的切平面上：切向位置来自图像，法向坐标来自地图，协方差继承锚点的 Σt。后续帧用 KLT 跟踪该角点，匹配精度按 2 像素建模。位姿最小化深度残差加上带 Huber 核的图像残差，Levenberg-Marquardt 在 SE(3) 上求解。KLT 路标丢了就丢，它的任务是补可观测性，不是当主追踪器。
TUM 标准三序列（ATE 评测限 30 FPS）：该方法 1.94/1.55/2.23 cm，平均 1.91 cm，未限速 59.1 FPS。GS-ICP 平均 2.4 cm、62.7 FPS，SGAD-SLAM 2.0 cm、20.4 FPS。ORB-SLAM3 和 Photo-SLAM 平均都是 1.3 cm，但它们带 BA 或走解耦追踪。扩展 TUM 六序列平均 7.12 cm，低于 GS-ICP 的 13.30 和 Spectral GS-SLAM 的 11.06，仍高于 ORB-SLAM3 的 5.35。无结构无纹理 near：该方法 1.67 cm，GS-ICP 和 SGAD 约 195 cm；Photo-SLAM 和 ORB-SLAM3 在 structure-notexture 上直接失败。
| 场景 | 该方法 ATE | GS-ICP | 备注 |
| TUM 标准三序列平均 | 1.91 cm | 2.4 cm | 评测限 30 FPS |
| TUM nostex near | 1.67 cm | 194.94 cm | 无结构无纹理 |
| ScanNet 六序列平均 | 9.61 cm | 20.4 cm | SGAD 复现 48.7 cm |
| Replica 平均 | 0.20 cm | 0.16 cm | 仿真无深度噪声 |
ScanNet 六序列平均 9.61 cm，好于复现的 GS-ICP 20.4 cm 和官方代码复现的 SGAD 48.7 cm（论文报告值 7.9 cm 没复现出来），也稳过 ORB-SLAM3 的 18.2 cm 和 SplaTAM 的 11.9 cm。Replica 无深度噪声，该方法平均 0.20 cm，略差于 GS-ICP 的 0.16 和 G2S-ICP 的 0.15，噪声模型必须留一个非零地板。1 秒窗口相对位姿误差平均 4.05 cm / 2.20°，ICP 基线里最低。室外 RealSense D435i 轮式和手持（轨迹 70 m 级、COLMAP 伪真值）在所测 3DGS 方法里漂移最低，仍低于 ORB-SLAM3。
建图平均 PSNR 21.39 dB，与 Photo-SLAM 的 21.38 持平，SSIM 0.784、LPIPS 0.219 是实时方法里最好。消融：共享协方差在 nostex 上 194.96 cm，只换 Σt 仍是 192.38 cm，KLT 硬接到共享协方差上有时更差；两件一起上才到 1.67 cm。
ICP 系 3DGS SLAM 的病根，有一半是把渲染形状当成传感器精度。Σt 改的是权重，KLT 锚点补的是几何上根本看不见的方向。对要实时出 3DGS 地图的机器人，这是可落地的渐进改进：追踪约 60 FPS，无结构场景不再动辄漂出两米。没有回环，不能当完整 SLAM 系统的替代。
作者自己写了：没有 bundle adjustment，大场景长期一致性不足；深度误差随距离变大，远景和室外会伤 ICP。Replica 上略慢于纯 ICP 同行，说明噪声模型在无噪声仿真里是税。SGAD 的 ScanNet 论文数字没复现，跨论文排名要打折。室外伪真值来自 COLMAP 加 RGB-D 尺度，不是运动捕捉。评测在 i9-13900KF + RTX 4090 上，没有嵌入式数字。