TartanMatch 单模型打通 RGB/事件/热成像/深度/激光雷达 25 种配对
zhenjun_zhao · x · 2026-10-19
CMU 团队（Hyeokjoon Kwon、Sebastian Scherer、Wenshan Wang 等）发布 TartanMatch，一个覆盖 RGB、事件相机、热成像、深度、投影 LiDAR 全部 25 个有序模态对的统一稠密对应模型，定位为「多模态版 UFM」。
方法要点：
- 轻量模态适配：RGB/热成像直接映射；事件按 B=15 时间箱体素化后用可学习 1×1 卷积；深度与投影 LiDAR 共享 log-depth+validity 表示。
- 共享骨干：完全复用 RGB 预训练的 UFM 对应模型（DINOv2 编码器 + 信息共享 Transformer + DPT 头），仅新增两个 1×1 投影。
- 训练混合真实与合成数据（TartanAirV2、MegaDepth、DSEC 等）。
结果：零样本真实基准上，跨模态匹配 EPE 较最强基线降低 61.9%，同模态降低 49.6%；联合训练优于逐对训练，尤其是困难跨模态对；RGB→Depth 相对位姿估计与强雪天退化场景均取得领先，单张 H100 推理仅约 27.6ms。
「研究」频道最新
- 可解释性圈激辩:残差流叠加可能真实存在但并不重要 — burny_tech · 2026-10-19
- 「残差流叠加真实但不重要」:banburismus 回应 Nanda 的可解释性观点 — burny_tech · 2026-10-19
- AI Agent 用 EHT 原始数据复现黑洞照片，与官方图像匹配 91%-98% — fofrAI · 2026-10-19
- ORL 框架让扩散语言模型提速 6.9 倍，超越自回归投机解码 — burny_tech · 2026-10-19
- 意识神经结构新预印本：发现颠覆数十年认知，AI 解读视频上线 — eherrerosj · 2026-10-19
- NVIDIA 与斯坦福发布 World from Motion:单视频生成式 4D 高斯重建 — ZGojcic · 2026-10-19