TrackEverything: Long Horizon Dense Tracking via De-Duplicating 3D Scene Representations
Ayush Jain, Sreeharsha Paruchuri, Ishita Gupta, Fan Zhang, Tanner Schmidt, Jakob Engel, Katerina Fragkiadaki, Adam W. Harley
cs.CV, cs.AI, cs.RO
2026-09-25
TrackEverything把视频做成可去重的世界坐标3D轨迹，TAPVid-3D短片段上比开源全帧稠密追踪高20多个APD点，并在40GB内跑完1000帧以上全点追踪。
点追踪一直被切成两半：稀疏方法能跟很长，但只跟用户点的那几个点；稠密方法能跟满屏，却在几十帧里把显存吃光。根因是按帧堆 2D token。同一块物理表面每出现一次就再编码一次，512×512、200 帧量级会落到约 10^10 次预测。已有全帧稠密 3D 追踪停在 48–64 帧，再长就 OOM。
视频是 3D 世界的 2D 投影。复杂度应该跟「新出现的几何」涨，不该跟帧数线性涨。
TrackEverything 用 16 帧滑动窗口。每帧经冻结的 DINOv3-small 加可训 ViT Adapter 得到 1/4 分辨率、384 维特征，用相机位姿和深度（传感器或 VGGT-Ω 一类前馈重建）反投影成世界坐标特征云。窗内先按帧体素化，避免不同时刻的不同表面被误合并。
追踪拆成两段。Endpoint refiner 对所有活跃点迭代预测窗口终点的 3D 位置、可见性和静/动分类，特征用 3D WAFT：在源帧和当前估计目标位置上双线性采样 2D 特征，当模板匹配信号，避开吃显存的 4D 相关体。Trajectory refiner 只给动态点做窗内稠密轨迹，静态点在世界坐标里原地不动。窗边界再按预测终点体素合并共位轨迹，均值池化后交给下一窗，新露出的表面同时加入。
可训参数 41M，加上冻结的 20M 骨干共 61M。训练数据是 Kubric、PointOdyssey、Dynamic Replica。用户还可以丢 (t,x,y) 查询点，这些点不参与体素合并。
TAPVid-3D minival 上，前 48 帧平均 APD-P 为 34.7。开源全帧稠密方法 VDPM 是 10.9，差距超过 20 个点。闭源 D4RT 在 DriveTrack / PStudio 短片段更高，但约 20 倍参数、含私有数据、不公开、不跑超过 48 帧。全长视频上 TrackEverything 平均 APD-P 31.2，对上 TAPIP-3D 29.8、CoTracker3 29.7、DeltaV2 29.9，跟的点却多几个数量级。首帧稠密的 DeltaV2 看不到后出现的表面。
PointOdyssey 上的复杂度曲线：既有稠密方法大约 96–200 帧 OOM；稀疏方法跟几千个点，约 600 帧 OOM。TrackEverything 在 900 帧仍低于 30GB，论文称是首个在 40GB 内对 1000 帧以上视频做全可见点 3D 追踪的方法。
消融：去掉静/动分流，APD-P 仍是 31.2，延迟 4.8 倍、峰值显存 2.5 倍（分类 F1 在 Dynamic Replica / PointOdyssey 上为 93.1 / 92.5）。去掉 3D WAFT 掉到 29.3，去掉迭代细化掉到 26.4。体素边长 0.02 是默认折中；不体素化直接 OOM。输入几何从 Pi3 换成 VGGT-Ω，PStudio APD-P 从 23.5 到 30.1；传感器几何再拉到 71.7。
对需要长时间、全表面 3D 对应的机器人、动态重建和视频生成，这把「全点长视频」从内存实验变成单卡可跑的设定。表示按场景内容涨，不按帧数涨。几何后端可换，传感器进步能直接吃到，不必重训追踪头。
短片段精度仍受输入点图质量限制，不是端到端几何+运动的统一模型。相对 D4RT 的短片段数字，参数和数据都更小，短 clip 并不全面占优。
开放世界一直探索时，活跃内存仍会涨，小时级轨迹还需要空间淘汰。依赖外部几何，点图错了追踪就错。窗边界按空间邻近做不可逆均值合并，追踪误差会把不同表面焊死，后续无法拆。查询点分支可以保护重点，不是一般解。训练数据是合成轨迹，复杂真实动态还没被容量和数据铺满。