单帧锐而不稳、视频稳而不锐,Apple 用一个 ViT 同时拿下
Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth
Peiyun Hu, Marko Mihajlovic, Lyndon Duong, Lahav Lipson, Wei Dong, Amaël Delaunoy, Stephan R. Richter, Vladlen Koltun
cs.CV, cs.LG
2026-11-20
Apple 用单个 ViT 同时处理单图和视频、按原生分辨率输出度量深度,锐度、时序稳定性、度量精度零样本排名全部第一,已开源。
这篇在解决什么
单目深度估计长期有个取舍:单帧方法输出的深度图边界锐利,但逐帧独立处理,放到视频里物体深度会前后跳;多帧方法时序稳定,却因为要跨大量帧做注意力或借 video diffusion 先验,只能降分辨率运行,把毛发这类细节抹平。论文用 Sintel 和 Spring 两个带稠密高分辨率真值的数据集画散点图,现状很直白:单帧方法全聚在「锐而不稳」一角,多帧方法全聚在「稳而糊」一角。对视频虚化、AR、新视角合成这类既要边界又要稳定的下游,这不是刷榜问题,是能不能用的问题。
方法
核心是一个权重共享的多帧 ViT,单图和视频走同一套网络,按 DINOv3 ViT-S/B/L/H+ 分四档,24.3M 到 872.1M 参数。
- 排列等变的多帧注意力:前三分之一 block 只做帧内自注意力(跨帧匹配放后面更划算),其余 block 在帧内与跨帧注意力间交替,跨帧注意力复用原自注意力权重,不加新参数。位置编码刻意不写帧序号,网络对帧排列等变,好处有二:能吃任意帧数;单图预训练的 DINOv3 权重可以直接搬来初始化。
- 原生分辨率:输入不 resize,16×16 patch,2D rotary 位置编码按长边归一化以保留宽高比;解码端 DPT 用反卷积上采样替代双线性。选 DINOv3 初始化是因为它专门为高分辨率稠密特征训练。训练时真值深度也从不插值,插值会在深度断层处平均出 flying pixels;消融显示仅这一条就比 Depth Pro 的 resize 策略边界精度高 5 个百分点以上。
- 度量深度靠焦距:网络输出焦距归一化的逆深度,另配 23.5M 参数的 FOV 估计器(用 9200 万张带 EXIF 的 Flickr 图微调 DINOv3 ViT-S)换算成米制。估计器 1080p 下 118 fps,给最小模型只增加约 8% 算力。
- 混合训练加一致性损失:19 个数据集(合成真值为主,含内部渲染与带 ToF 标注的手机实拍),1 到 32 帧的 clip 混训,单图就是 1 帧的 clip。损失四项直接相加:trimmed L1 锚定度量、SSI 保尺度不变、多尺度梯度管细节、多视图一致性管时序。一致性项不用光流,拿真值相机位姿把预测深度投影到邻帧比对;遮挡和运动物体用真值深度 warp 过滤(偏差超 2% 丢弃),动态场景照样能训。
- 两种流式推理:buffered 把视频切成带重叠的 clip、重叠区线性混合;unbuffered 用因果跨帧注意力加 KV cache,帧一到就出深度,延迟最低。
结果
零样本评测,按逐数据集排名再取平均:
| 评测项(视频设定) | Depth Pro 2-H+ | 最好基线 |
| 度量深度 δ1,GT / 预测内参 | 1.0 / 1.2 | UniDepthV2-L 3.0 / 3.0 |
| 边界锐度(boundary F1) | 1.3 | InfiniDepth 2.7 |
| 时序 jitter,Sintel / Spring(×100,低更好) | 1.39 / 0.86 | VDA-L 2.55 / 0.88 |
| FOV 估计 δ25(六数据集均值) | 88.6% | Depth Pro 71.7% |
单图设定的度量深度,GT 内参下平均排名 2.4(预测内参 2.7),同样压过全部基线。时序那行最能说明问题:单帧的 Depth Pro 在 Sintel 上 jitter 11.26,最好的视频方法 2 出头,Depth Pro 2 压到 1.39,同时边界还是最锐。速度上,B200、1080p 流式:24M 的 S 模型 53 fps,快过多数视频帧率;872M 的 H+ 是 8 fps。下游 bokeh 渲染(深度喂给同一个冻结渲染器)边界 LPIPS 0.505,也是被测方法里最好,次优 0.525。
为什么重要
第一,一个开源家族(24M 到 872M,代码权重都放了)同时覆盖单图与视频、按延迟需求选档,虚化、抠像、单图 3D 这类应用可以直接替换手头的拼装管线。第二,它给出的证据是:打破「锐 vs 稳」不需要 video diffusion 先验,也不需要多阶段课程学习,排列等变多帧注意力加原生分辨率加一个一致性损失,在这套评测里就够了;真值不插值、位姿代替光流、token 预算批处理这些训练细节,都能搬到其他稠密预测任务上。第三,FOV 估计器单拿出来比专门做相机标定的方法还准,88.6% 对 71.7% 不是小差距。
部件没有一样是全新发明,组合本身加上训练规模就是贡献,这个贡献是实的。
局限与存疑
- 相对深度(affine 对齐)视频设定只排第二,输给 DAGE;外部指标 TAE 也排第二,输给 VeloDepth。作者批评 TAE 偏向糊的预测、连真值深度都给非零分,这有道理,但 jitter 是他们自己定义的指标,主客场都在自己手里。
- 训练用 128 张 B200 跑 100K 步,约一半训练帧来自内部数据(内部合成 2415 万帧、实拍 305 万帧),复现训练基本无门;权重开源不影响使用,想接着训没戏。
- H+ 处理 32 帧 1080p clip 峰值显存 29.5 GiB,4K 要 114.6 GiB,实时 4K 只能靠小模型,而小模型精度掉得明显:单图 Sintel δ1,S 模型 40.4,H+ 60.2。
- 多帧输入的焦距取各帧估计的中位数,等于假设整段视频焦距恒定,变焦镜头拍的素材不适用。
- 预测内参下的度量精度全面低于 GT 内参(DyDToF 从 97.0 掉到 94.8),无 EXIF 场景的最终误差取决于焦距估计质量,论文没有量化这条误差传播。
术语
- 度量深度(metric depth):带物理单位(米)的深度输出,区别于只保留远近关系的相对深度。
- 逆深度(inverse depth):深度的倒数,近处值大、远处误差稳,深度回归的常用参数化。
- flying pixels:深度不连续处因插值或混合产生的悬空深度值,边界发糊的主要来源之一。
- jitter:沿真实点轨迹统计深度预测随时间的波动,越低越稳,本文的时序一致性指标。
- δ1:误差在真值 1.25 倍以内的像素占比,度量深度最常用的准确率指标。
- 排列等变(permutation-equivariant):输入帧顺序打乱、输出跟着打乱而内容不变,网络不依赖帧的先后。
原文与代码
相关论文
全部论文解读