单帧锐而不稳、视频稳而不锐,Apple 用一个 ViT 同时拿下

Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth

Peiyun Hu, Marko Mihajlovic, Lyndon Duong, Lahav Lipson, Wei Dong, Amaël Delaunoy, Stephan R. Richter, Vladlen Koltun

cs.CV, cs.LG

2026-11-20

Apple 用单个 ViT 同时处理单图和视频、按原生分辨率输出度量深度,锐度、时序稳定性、度量精度零样本排名全部第一,已开源。

这篇在解决什么

单目深度估计长期有个取舍:单帧方法输出的深度图边界锐利,但逐帧独立处理,放到视频里物体深度会前后跳;多帧方法时序稳定,却因为要跨大量帧做注意力或借 video diffusion 先验,只能降分辨率运行,把毛发这类细节抹平。论文用 Sintel 和 Spring 两个带稠密高分辨率真值的数据集画散点图,现状很直白:单帧方法全聚在「锐而不稳」一角,多帧方法全聚在「稳而糊」一角。对视频虚化、AR、新视角合成这类既要边界又要稳定的下游,这不是刷榜问题,是能不能用的问题。

方法

核心是一个权重共享的多帧 ViT,单图和视频走同一套网络,按 DINOv3 ViT-S/B/L/H+ 分四档,24.3M 到 872.1M 参数。

结果

零样本评测,按逐数据集排名再取平均:

评测项(视频设定)Depth Pro 2-H+最好基线
度量深度 δ1,GT / 预测内参1.0 / 1.2UniDepthV2-L 3.0 / 3.0
边界锐度(boundary F1)1.3InfiniDepth 2.7
时序 jitter,Sintel / Spring(×100,低更好)1.39 / 0.86VDA-L 2.55 / 0.88
FOV 估计 δ25(六数据集均值)88.6%Depth Pro 71.7%

单图设定的度量深度,GT 内参下平均排名 2.4(预测内参 2.7),同样压过全部基线。时序那行最能说明问题:单帧的 Depth Pro 在 Sintel 上 jitter 11.26,最好的视频方法 2 出头,Depth Pro 2 压到 1.39,同时边界还是最锐。速度上,B200、1080p 流式:24M 的 S 模型 53 fps,快过多数视频帧率;872M 的 H+ 是 8 fps。下游 bokeh 渲染(深度喂给同一个冻结渲染器)边界 LPIPS 0.505,也是被测方法里最好,次优 0.525。

为什么重要

第一,一个开源家族(24M 到 872M,代码权重都放了)同时覆盖单图与视频、按延迟需求选档,虚化、抠像、单图 3D 这类应用可以直接替换手头的拼装管线。第二,它给出的证据是:打破「锐 vs 稳」不需要 video diffusion 先验,也不需要多阶段课程学习,排列等变多帧注意力加原生分辨率加一个一致性损失,在这套评测里就够了;真值不插值、位姿代替光流、token 预算批处理这些训练细节,都能搬到其他稠密预测任务上。第三,FOV 估计器单拿出来比专门做相机标定的方法还准,88.6% 对 71.7% 不是小差距。

部件没有一样是全新发明,组合本身加上训练规模就是贡献,这个贡献是实的。

局限与存疑

术语

原文与代码

相关论文

全部论文解读