GeoWeaver:几何先验模型加测试时适配,修正长视频 3D 重建漂移
zhenjun_zhao · x · 2026-08-19
arXiv 新论文(2608.17389,Tinghao Jiang 等)。长序列 RGB 视频 3D 重建需要局部几何准确与全局相机运动一致;前馈模型深度与位姿预测强但内存开销大,分块处理则带来块间尺度漂移、位姿误差与点云错位。
GeoWeaver 包含几何先验模型(GPM)与测试时适配(TTA)两部分:GPM 逐块预测深度、置信度与相机参数作为可调几何先验;TTA 依次执行顺序初始化、全局块级 Sim(3) 对齐、以及相机位姿/仿射深度校正/内参的由粗到细精化。稠密对应关系提供相邻、跨块与长程约束,鲁棒的 CDF 式目标函数联合优化加权 2D 重投影与 3D 一致性残差。实验显示相机精度、全局一致性与点云质量均有提升,消融验证了各适配阶段的贡献,且同一 TTA 流程可直接套用于其他前馈模型。
「多模态」频道最新
- AI 仅凭像素定位照片地点,精度达米级 — saibharadwaj · 2026-08-20
- Runway Gen-2 升级:1080p 视频支持 50 参考图与 30 秒生成 — tlakomy · 2026-08-20
- 利用渲染技术制作 Thesis 岩石雕塑流程 — every · 2026-08-20
- Swarms 构建视频/音乐/语音推理引擎,直指 LLM 输出二进制 — bingxu_ · 2026-08-20
- AI 将经典网络迷因绘制成同一条街道 — _jaydeepkarale · 2026-08-20
- 用户分享 Kling AI Omni 3 的趣味生成效果 — LudovicCreator · 2026-08-20