ARROW: Arbitrary Reconstruction and Tracking of 4D Observations in the Wild
Ilya Fradlin, Christian Schmidt, Jens Piekenbrinck, Karim Knaebel, Gonzalo Martin Garcia, Bastian Leibe
www
cs.CV
2026-10-01
ARROW 用内容派生 ID token 统一任意图像集的 3D 重建与点跟踪,WorldTrack 四个数据集全部刷新 SOTA。
3D 重建和 3D 点跟踪长期是两条线:重建从 SfM 走到 DUSt3R、VGGT、Depth Anything 3(DA3)这类 geometry transformer,输入是无位姿图像集合,顺序无关;跟踪从 TAPIR、CoTracker 到 SpatialTracker,默认输入是时间连续的单目视频。两件事底层相通,几何约束对应关系,对应关系又把结构跨视角、跨时间串起来,但模型各养各的。
D4RT 开始把两者并进一个模型:视频编码一次,查询指定源像素、目标时刻、参考相机,重建与跟踪共享一个表示空间。它的输入侧仍是视频,靠可学习的时间步 embedding 把查询绑到帧上。这留下两个具体问题:多相机流里不同视角共享同一时刻,静态照片集根本没有帧序,按位置寻址直接失效;训练只见时间相邻的观测,归纳偏置偏向运动与外观连续,对应问题的难度被人为压低。
ARROW 输入一组无序 RGB 图像,2 到 24 张,视角与时刻任意。查询接口沿用 D4RT:给定源观测上的一点 (u,v),问它在目标观测时刻的 3D 位置,坐标表达在参考观测的坐标系里。换一下三个角色,同一接口就能出轨迹、点云、相机位姿。
设计问题在「查询怎么找到帧」。D4RT 用位置编码给上下文强加顺序,再用离散时间步 embedding 标识查询里的源、目标、参考帧;换成语义上无序的 geometry transformer 上下文后,这些固定 embedding 无从匹配。ARROW 的解法是把 DA3 的 per-image 相机 token 改造成 ID token:由每帧内容派生、与全局上下文同处一个 embedding 空间,查询里的 ID token 与对应帧天然对得上,且与输入顺序无关。
两个组件为此服务:
训练配方与架构同样关键。静态多视角集合里 3D 点不动,对应关系是免费监督;带轨迹的动态数据给运动监督;nuScenes 这类无轨迹数据把查询限制在同一时刻,只留几何监督。采样刻意非顺序:候选时间窗最长放宽到所需帧数的 10 倍,多相机数据跨相机混采。共 19 个数据集、约 7.8 万场景、2280 万帧,DA3-Giant 初始化,32 张 GH200 训 200k 步,多任务损失沿用 D4RT。
WorldTrack 单目 3D 跟踪(64 帧,APD 为落在各距离阈值内的点占比,越高越好):
| 数据集 | ARROW APD | 此前最优 APD |
| Aria Digital Twin | 93.55 | 91.75(SpatialTrackerV2) |
| Dynamic Replica | 88.00 | 84.41(4RC) |
| PointOdyssey | 85.26 | 83.84(UniQuery4R) |
| Panoptic Studio | 85.76 | 84.76(UniQuery4R) |
整体与动态两个口径、APD 与 EPE 两类指标,四个数据集全部第一。
多视角差距最大。作者把 MVTracker 基准改成 RGB-only(原协议给深度、标定和 3D 查询,改版只有 4 台相机的 RGB 与 2D 查询),ARROW 三个数据集平均 APD 61.0、EPE 0.1252,第二名 OmniX 为 48.0 和 0.1701;12 项数据集×指标组合 11 项第一,唯一例外是 DexYCB 的 EPE(0.1705,落后 TAPIP3D+VGGT-Ω 的 0.0991)。TAPVid-3D 上相机系与全局系的平均 AJ、APD 均居首,遮挡准确率略落后。
消融把贡献拆开:从 D4RT 式有序基线换成 ID token 寻址,跟踪提升;去掉编码器时间编码,单目跟踪几乎不变;引入非顺序采样,多视角 APD 单步上涨 28.85 个百分点,是最大增益;再补 4 个静态多视角数据集(15→19),所有上报指标继续涨。重建侧,NRGBD 最优 Chamfer 0.0263 与法向一致性 0.933,Sintel 最低 ATE 0.0714,KITTI 视频深度最低 AbsRel 0.036,7-Scenes 略逊于 OmniX;对 VGGT、π3、DA3 这些专职重建模型大致打平。
对做 4D 视觉的人,这是一个接口统一:一个开源模型同时吃无序照片集、单目视频、多相机同步流,输出轨迹、点云、位姿、深度,不需要外接深度或标定。多相机捕获以前要拼专用管线,现在是前馈模型的原生能力。
训练侧的结论可以单独拿出来:故意把训练分布弄难,跨视角、跨长间隔采样,普通时序跟踪反而刷新 SOTA。监督多样性和架构一样,是跟踪模型仍有提升空间的地方。
也要诚实:重建侧是打平,不是超越;跟踪领先在长序列和多视角输入上才完全展开,场景若只有单目短视频,收益有限。
作者自述:去掉时间编码后,只能在输入观测对应的时刻出结果,不能在两帧间插值,也不能外推未来;稠密解码开销更高;查询之间不直接交互,低置信与远处区域可能偏弱;多视角输入混入 ego 相机等分布外视角时性能下降;位姿与 (u,v) 的细粒度精度对局部变化敏感,TAPVid-3D 上 UV 有数像素误差。
读下来还有两处要留意:RGB 版 MVTracker 是作者自改协议,原文明确说与官方结果不可直接对比,「超过专用多视角跟踪器」依赖这套改编;WorldTrack 表里没有 D4RT 原版,只有非官方复现 OpenD4RT,而它在 ADT 上只有 71.92,这条对照链偏弱。复现成本也不低:200k 步、32 张 GH200,外加对 PointOdyssey 标注的人工逐场景修订,好在代码与权重公开。