GeoWeaver:几何先验模型加测试时适配,修正长视频 3D 重建漂移

zhenjun_zhao · x · 2026-08-19

arXiv 新论文(2608.17389,Tinghao Jiang 等)。长序列 RGB 视频 3D 重建需要局部几何准确与全局相机运动一致;前馈模型深度与位姿预测强但内存开销大,分块处理则带来块间尺度漂移、位姿误差与点云错位。

GeoWeaver 包含几何先验模型(GPM)与测试时适配(TTA)两部分:GPM 逐块预测深度、置信度与相机参数作为可调几何先验;TTA 依次执行顺序初始化、全局块级 Sim(3) 对齐、以及相机位姿/仿射深度校正/内参的由粗到细精化。稠密对应关系提供相邻、跨块与长程约束,鲁棒的 CDF 式目标函数联合优化加权 2D 重投影与 3D 一致性残差。实验显示相机精度、全局一致性与点云质量均有提升,消融验证了各适配阶段的贡献,且同一 TTA 流程可直接套用于其他前馈模型。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →