Many Eyes, One World: Feed-Forward 3D Reconstruction from Mixed Cameras
Qiaoge Li, Yifan Zhan, Haijun Yang, Haiyang Liu, Yiyi Cai, Chenchi Luo
cs.CV
2026-09-29
MEOW 用合成混拍适配透视骨干,一次前向从像素重建混合相机点图与位姿;2D3DS 上 80.4 mAA@30,对照需相机类型的 Wid3R 为 54.3。
监控、消费级全景、机器人套件里,透视、鱼眼和 360° 全景经常混在同一场重建里。现有前馈三维重建模型几乎都按透视影像训练。DUSt3R、VGGT、π³、MapAnything 的输入管线和数据分布盖不住异构投影和完整全景。把广角图先矫正成透视,要标定,还会丢掉视野。
Wid3R 能联合处理多种相机模型,但每张图都要喂一个相机类型 token。CAM3R 不需要标定,一次只重建一对图,大规模场景要反复成对推理再做全局对齐。还没有一种方法能在单次前向里,仅凭像素,把含完整全景的混合相机元组建成同一个度量三维场景。
现场往往拿不到可靠标定,相机类型标签也不会跟图走。
MEOW 把异构相机重建当成数据适配来做,网络骨架不动。骨干直接用公开的 MapAnything 权重,后续全部在合成混拍数据上训练。
数据引擎叫 LENSCOPE。程序化室内生成器铺出第一代 2,004 间和第二代 499 个更密的房间,每个光心先渲一张带解析射线、度量深度和位姿的等距柱状全景,再按连续相机流形重采样。七种模型按权重抽,透视类合计 0.55,三种鱼眼 0.25,球面裁切 0.05,完整全景 0.15。视场和姿态跟摄影统计先验走,光学退化与几何拆开,避免网络靠锐度猜视场。
采样完重算 covisibility(两视图互相看得见的三维点比例),只留连通且边权大于 0.25 的 2 到 8 视图元组。公开透视预训练之后,没有任何真实相机图像进训练。
输入侧把每张图各向异性缩放到同一张量形状,不裁切。缩放会改纵横比,于是用占参数 0.08% 的 MLP 把 log(宽/高)加到该视图的 patch token 上。完整全景在经度上周期,稠密头做循环填充。推理时全景开关来自像素检测器,主评测集上全景零漏检,非全景 386 张里误标 2 张。
损失用立体角加权,全景两极和鱼眼边缘不再因像素过密主导梯度;射线方向用球面 von Mises-Fisher 似然。训练分三阶段:初代合成 35 个 epoch,打开全视野缩放与在线采样再 100 个 epoch,第二代场景上 15 和 859 个 epoch 的两条 run 按 0.25/0.75 插值。推理一次前向出射线、深度、位姿和整元组一个度量尺度,没有后续对齐或优化。
异构 Stanford 2D3DS:88 个 3 到 24 视图元组,全景、90° 透视和 180° 等距鱼眼轮换,一次前向。mAA@30 是 1° 到 30° 阈值上、相对旋转和平移方向同时过关的平均精度。
| 方法 | 相机输入 | mAA@30 | RTA@30 | ATE↓ |
| MEOW | 无 | 80.4 | 96.2 | 0.62 |
| Wid3R | 每视图类型 | 54.3 | 86.5 | 0.83 |
| π³ | 无 | 19.8 | 59.7 | 1.24 |
| MapAnything | 无 | 16.4 | 53.9 | 1.48 |
| VGGT | 无 | 10.5 | 47.3 | 1.65 |
差距主要在平移。旋转两边都过关,Wid3R 的 RRA@30 为 96.9,MEOW 为 95.2。公开 MapAnything 换成同样的全视野缩放,分数从 16.4 掉到 15.4,单改输入缩放解释不了增益。
自建激光扫描办公室用 12 站 Leica BLK360 G2,所有方法都零样本。四视图混合轨道上 MEOW 每个元组都配准成功,RRA@30 和 RTA@30 都是 100,AUC@30 为 79.4。Wid3R 旋转能过(97.2),平移过不去,RTA@30 为 58.0、AUC@30 为 29.3。DUSt3R、MASt3R、π³、MapAnything、VGGT 的 AUC@30 落在 19.0 到 32.9。纯针孔轨道上 MEOW 85.7,对照骨干 MapAnything 86.8,几乎没掉。纯全景轨道 71.0,透视模型最高 2.7。
换成公开裁切加载器,2D3DS 掉 3.3 mAA,激光混合掉 5.0 AUC。拿掉纵横比嵌入分别掉 23.2 和 11.3,16:9 挤压全景从 78.6 掉到 42.4。八视图在一块 RTX 5090 上 0.66 秒,和 MapAnything 同一量级,32 张图能塞进一次前向。
按元组大小切开就没那么整齐。3 到 8 视图领先明显,15 到 24 视图的 4 个元组上 29.3 对 Wid3R 的 52.1。按全部 4,044 对池化后,那 4 个大元组占了 49% 的对数,mAA@30 变成 54.2 对 54.7。88 个元组里 MEOW 在 79 个上更高。
对要在现场混用手机、鱼眼和全景头的人,可以不标定、不标相机类型、不跑成对再对齐,一次前向出度量点图和位姿。透视预训练骨干靠程序化相机流形和共视检查就能接到异构输入。
能用的场景是室内、房间尺度、一次大约八张图。合成数据引擎、激光评测集和完整评测管线计划公开。
这是渐进改进。现有前馈模型在混拍上是真塌的,透视骨干只有 10.5 到 19.8。
论文自己写了几条硬的。引擎只覆盖合成室内,最终模型在最多八视图的房间尺度元组上适配。2D3DS 的 15 到 24 视图已经落后 Wid3R。厘米基线的透视视频也落后透视模型:Replica 上 AUC@30 为 69.0,对照 π³ 的 98.5、VGGT 的 93.5。尺度不变指标不考预测的度量尺度,预测尺度相对真值短 12% 到 25%,2D3DS 上中位比值 1.14,激光四条轨道 1.26 到 1.34。
透视和鱼眼是从真实全景重采样出来的,带精确射线和度量真值,比野外混拍干净得多。激光集是一栋办公室、12 个站点、每轨 24 个四视图元组,零样本成立,场景多样性不够。共视很低时配准失败会扎堆:激光全景轨道上 miss 的 8 个元组,站间最小共视中位数 0.042,另外 16 个是 0.424。训练连通阈值是 0.25,评测里低于这个包络的失败更像分布外。
纯全景专模仍然更强。PanoVGGT 在 2D3DS 全景元组上 99.9 AUC,它在 2D3DS 和 Matterport3D 上训练过,属于域内;Wid3R 92.2,MEOW 75.4。混拍是卖点,单全景不是。