Marigold V2 发布：单卡训练的 DiT 深度估计器

Marigold V2 正式发布并被 SIGGRAPH Asia 2026 接收。作者 Anton Obukhov 延续 V1「人人可做的研究」路线，把预训练图像生成模型后训练为深度估计器；V2 升级为扩散 Transformer（DiT）架构，边缘极为锐利，支持 2K 分辨率且不 OOM，整个训练在单张消费级 GPU 上几天即可完成。网站、代码、权重与在线 Demo 已全部公开，用户可在 Hugging Face 相关 demo 上传自己的照片直接体验。

已确认

• 发布方为华为 Bayer Lab；关键改进包括单步流匹配（flow-matching）推理，兼顾速度与质量，以及基于 Sinkhorn 的语义对齐机制（据 @huawei-bayerlab 帖子）。
• 低成本复现配方公开：以预训练 DiT（具体使用 Qwen-Image-Edit-2509）为基础，量化到 4-bit，加 rank-128 的 QLoRA，在单张 32GB 消费级显卡上微调几天即可完成。
• 结果方面：深度、表面法线、反照率等所有模态均优于前代；深度任务在 NYUv2、KITTI、ETH3D、ScanNet、DIODE 五个基准上击败了所有在可比数据量下训练的模型，并提供了 RGB→V1.1→V2 的对比滑块。
• 训练方法延续「反常规但有效」传统：V1 曾把深度图直接塞进图像 VAE（理论上不该 work 但 work 了）；V2 将真值深度经 DINOv3 编码，并将 DiT 特征与之对齐（iREPA-depth）。

为什么重要

• 证明高质量深度估计可在单张消费级显卡、几天内完成训练，大幅降低研究门槛，尤其面向小实验室。
• 展示了生成式图像模型（尤其 DiT 架构）作为密集预测任务底座的潜力，其技术配方（4-bit 量化 + QLoRA 微调、DINOv3 特征对齐、单步流匹配推理）可为其他密集预测任务提供参考。

2026-09-09 ~ 2026-09-10 · 11 条相关

• 【源头】Marigold V2 发布:单 GPU 后训练图像生成器做深度估计,入选 SIGGRAPH Asia 2026 — AntonObukhov1 · 2026-09-09
• 【源头】一张 32GB 消费级显卡微调 Qwen-Image-Edit 变深度估计器,几天搞定 — AntonObukhov1 · 2026-09-09
• Marigold V2 训练配方：4bit 量化 DiT 加 QLoRA 单卡微调 — AntonObukhov1 · 2026-09-09
• Marigold V2 深度估计横扫 NYUv2、KITTI 等五大基准 — AntonObukhov1 · 2026-09-09
• 【源头】Marigold V2 用单步流匹配改造 DiT,单目深度估计更强 — huawei-bayerlab · 2026-09-09
• Marigold V2 发布：单步 DiT 深度估计，单张 32GB 消费级 GPU 可训 — _akhaliq · 2026-09-10
• Marigold V2 登场，改图像编辑模型实现指令式视频编辑 — AntonObukhov1 · 2026-09-10
• Marigold V2 在 ECCV 艺术画廊图上的单目深度估计演示 — AntonObukhov1 · 2026-09-10
• Marigold V2 发布，开放在线 demo 可上手试深度估计 — AntonObukhov1 · 2026-09-10

另有 2 条近重复转述:AntonObukhov1 · AntonObukhov1