HiP3R:分层位姿图解决长视频 3D 重建,平均 ATE 从 8.29 米降至 4.02 米
zhenjun_zhao · x · 2026-10-24
南洋理工团队(陈成 Change Loy 组)发布 HiP3R,用分层位姿图优化解决前馈模型难以处理数千帧长视频的问题。
- 思路:长视频切成重叠块后,块级 Sim(3) 图高效解决尺度漂移并闭合大回环,但无法修正块内误差;帧级优化灵活但全局计算昂贵且易破坏度量尺度。HiP3R 先优化块级 Sim(3) 图确定全局布局与尺度,再固定布局、为每帧估计一个共享 SE(3) 相机,把重叠窗口预测合并为单一轨迹
- 回环检测:远程重访通过视觉位置识别 + 联合窗口推理 + 两端点配准生成约束
- 结果:多基准平均 ATE 4.017m(基于 LingBot-MAP 后端),远低于次优的 8.288m;在 Oxford/KITTI/VBR 上把 VGGT-Omega 后端平均 ATE 从 43.06m 降到 11.25m
「研究」频道最新
- FrontierCS 2 基准：让 Agent 在删掉贡献的论文代码上超越原方法 — berkeley_ai · 2026-10-24
- Nature 发布个人 AI 健康智能体研究，专家呼吁推进RCT验证 — adnan_hashmi · 2026-10-24
- Pathway 研究者：算力堆不动了，下一跃靠架构与持久记忆 — schwentker · 2026-10-24
- TokenGate 让 LLM 学会略读上下文，prefill 提速最高 11.3 倍 — berkeley_ai · 2026-10-24
- GTP:用生成式规划替代 RL,机器人操作任务在线学习更高效 — du_yilun · 2026-10-24
- 每个好 benchmark 都正在沦为 auto-research agent 的靶子 — maksym_andr · 2026-10-24