F$^2$ SLAM: Turning Feed-Forward Geometry into Persistent Factors for SLAM
Zhisong Xu, Fan Zhu, Jiawei Qian, Ziyu Chen, Zhenjun Zhao, Javier Civera
cs.CV
2026-10-04
F²SLAM把前馈多视图几何写成因子图上的持久测量，再与局部跟踪共用一次稠密BA。Replica未标定平均ATE从0.030米降到0.002米。
在线稠密 SLAM 用短时间窗里的测量做稠密 BA（多帧位姿和深度一起优化）。重叠变差、出现遮挡或视角变化，漂移就沿序列积累。前馈三维模型一次前向给出深度、点图和位姿，上下文宽得多，代表工作有 DUSt3R、MASt3R 和 VGGT。
MASt3R-SLAM、VGGT-SLAM 通常先重建局部窗口或子图，再与在线估计对齐或做一次校正。宽基线证据进不了 BA 的测量集合，校正也不会被后来的局部观测重新加权。F²SLAM 把前馈几何写成持久因子图上的测量，挂在关键帧之间，和局部跟踪一起约束位姿、逆深度（深度的倒数）与可选内参。
状态只有一组：关键帧位姿、稠密逆深度，未标定再加上内参（焦距和主点）。前馈预测只做初始化。
每条有向边保存目标-权重测量，即源像素在目标帧中的期望坐标和逐像素置信权重。残差是当前投影与该坐标之差。来源和锁定标记不进目标函数，所以同一次 BA 认不出测量来自哪一路。
高频流是预训练 DROID-Net。平均图像位移超过 40 像素才插入关键帧，新帧连接 3 个时间邻居和 2 个几何近邻，双向建边。它预测的是当前重投影的修正，用来更新没上锁的边，并维持图的连通。
低频流不新增边。累计图像位移达到 800 时触发，缓冲最长 20 个关键帧。DINO 特征经多视图 Transformer 聚合，Flow3r 给出 BA 坐标系中的整段位移和置信度，置信度再乘 0.25。位姿与深度先做 gauge 对齐，用来统一尺度和参考系，也给状态提供初值，不直接改写位移目标。
候选要经过一致性检查。支撑像素须投影有效且置信度超过下限，误差不大于 3 像素才是内点。接受分用支撑集上的平均置信度、支撑率与内点率相乘，再除以 1 加内点平均误差。支撑率不低于 0.05 且接受分达标，才替换原测量并锁定该边。未通过则原测量保持不变。锁定的低频因子会在 20 次前端更新后移除。
图每次更新做 2 轮稠密 BA。损失是鲁棒重投影加逆深度平滑，未标定还有内参先验。每条边只留一份残差。
轨迹用 Sim(3) 对齐后的位置误差 ATE，单位米。未标定不用真值内参，实验在单张 A100（40GB）上完成。
| 设置 | 对照 | 对照结果 | F²SLAM |
| Replica 未标定 | VGGT-SLAM 2.0 | 0.030 | 0.002 |
| TUM 未标定 | SLAM-Former | 0.039 | 0.027 |
| TUM 已标定 | MASt3R-SLAM | 0.030 | 0.029 |
| 7-Scenes 未标定 | SLAM-Former | 0.041 | 0.051 |
| 7-Scenes 已标定 | DROID-SLAM | 0.050 | 0.053 |
| KITTI 未标定 | VGGT-SLAM++ | 64.94 | 30.18 |
| KITTI 已标定 | DROID-SLAM | 554.82 | 67.19 |
| KITTI 已标定 | LDSO | 22.43 | 67.19 |
Replica 未标定八个场景都在 0.002 到 0.003 米，已标定则与 DROID-SLAM 同为 0.003 米。该集合光照稳、模糊少、帧间运动小，高频跟踪本来就容易。TUM 已标定只低 0.001 米。7-Scenes 已标定略输 DROID-SLAM，未标定输给 SLAM-Former。
KITTI 已标定的平均从 DROID-SLAM 的 554.82 米降到 67.19 米。01 段占了绝大部分落差：DROID-SLAM 为 5344.60 米，F²SLAM 为 64.77 米。其余路段两者仍多在几十到一百多米，高于有闭环的 LDSO（22.43 米）和 DPV-SLAM++（25.75 米）。未标定平均 30.18 米，好于 VGGT-SLAM 的 81.22 米。08 与 09 段仍有 75.98 米和 68.20 米。
重建不做置信度过滤。Replica 上 F²SLAM 的平均精度与完整度是 0.0266 米和 0.0174 米，SLAM-Former 是 0.0270 米和 0.0187 米，DROID-SLAM 的完整度是 0.1229 米。7-Scenes 精度 0.024 米，与 SLAM-Former 并列。完整度从 0.030 米降到 0.015 米，Chamfer 从 0.027 米降到 0.019 米，约对应 50% 和 30%。
Replica 消融里，纯跟踪 ATE 已是 0.0027 米，精度 0.0303 米，完整度 0.0188 米。完整模型是 0.0023 米、0.0266 米、0.0174 米。去掉一致性门，ATE 升到 0.5848 米。去掉 gauge 对齐，ATE 为 0.0024 米，完整度 0.0194 米。同卡速度 7.399 FPS，峰值显存 15443 MB。SLAM-Former 为 8.154 FPS、27693 MB，VGGT-SLAM 2.0 为 3.909 FPS、6523 MB。低频窗口为 4 或 8 帧时失败，12 帧以后趋稳，默认 20 帧。
未知内参的室内序列里，同一次 BA 会一起改位姿、逆深度和内参。未标定 TUM 与 Replica 的平均 ATE 低于表中的前馈 SLAM，完整度也更好。高频 DROID-Net、低频 DINO 与 Flow3r 都是冻结权重。A100 上约 7.4 FPS、15 GB 显存，适合离线或近在线建图。
已标定短序列上，相对 DROID-SLAM 与 MASt3R-SLAM 的轨迹增益很小，7-Scenes 还略差。KITTI 没有闭环，误差停在几十米。站得住的设计是准入规则。去掉一致性门，Replica 的 ATE 从 0.0023 米升到 0.5848 米。低频刷新本身只把纯跟踪的 0.0027 米调到 0.0023 米。
系统没有显式闭环，长程户外序列的漂移压不住。弱纹理、动态物体、大视角变化和尺度歧义会让前馈预测变差，低频测量跟着变差。
Replica 上 0.030 米到 0.002 米，对照的是 VGGT-SLAM 2.0。同一套 Flow3r、只把子图对齐换成因子刷新的对照没有做。纯跟踪已经 0.0027 米，因子刷新再减少 0.0004 米。已标定 7-Scenes 从 DROID-SLAM 的 0.050 米退到 0.053 米，刷新并不保证更好。动态场景没有单独实验。重建故意不滤点，完整度变好可能混有更密的点云。阈值在全部数据集上共用。几何容差取 2、3、4 像素时结果接近，低频候选被大量拒绝、系统退回纯跟踪时会怎样，没有给出曲线。