Marigold V2：把 DiT 生成模型改造为 SOTA 深度估计器

Cohere · youtube · 2026-10-17

这是 Cohere Labs 开放科学社区的一场技术讲座，讲者 Thiemo Wandel（华为苏黎世研究中心 CV 工程师）介绍 Marigold V2——把基于 Diffusion Transformer（DiT）架构的现代图像生成/编辑模型改造为单目深度估计器的系列技术。

核心内容包括：面向从预训练多步 flow-matching 模型做单步推理的配方（必要时量化），保留模型容量同时降低运行成本；分析朴素训练的伪影，并采用围绕新型 Sinkhorn 损失的两阶段微调协议。效果上，KITTI 与 ETH3D 的 AbsRel 较此前最佳提升 16-26%，能分辨毛发、皮毛、树叶等此前模型搞不定的细锐边缘；迁移到表面法线估计、本征图像分解等稠密回归任务也取得 SOTA。