Marigold V2 发布：单卡微调 DiT 做深度估计

Marigold V2 正式发布并已被 SIGGRAPH Asia 2026 接收。作者 Anton Obukhov 延续 V1「人人可做的研究」路线，把预训练图像生成模型后训练为深度估计器，V2 升级为扩散 Transformer（DiT）架构，边缘极为锐利，且整个训练在单张 GPU 上即可完成。

已确认

• 低成本复现配方公开：以预训练 DiT（具体使用 Qwen-Image-Edit-2509）为基础，量化到 4-bit，加 rank-128 的 QLoRA，在单张 32GB 消费级显卡上微调几天即可完成。
• 结果方面：深度、表面法线、反照率等所有模态均优于前代；深度任务在 NYUv2、KITTI、ETH3D、ScanNet、DIODE 五个基准上击败了所有在可比数据量下训练的模型。
• 训练方法延续「反常规但有效」传统：V1 曾把深度图直接塞进图像 VAE（理论上不该 work 但 work 了）；V2 将真值深度经 DINOv3 编码，并将 DiT 特征与之对齐（iREPA-depth）。

为什么重要

• 证明了高质量深度估计可以在单张消费级显卡、几天时间内完成训练，大幅降低了该方向的研究门槛。
• 展示了生成式图像模型（尤其是 DiT 架构）作为密集预测任务底座的潜力，其技术配方（4-bit 量化 + QLoRA 微调、特征对齐）可为其他密集预测任务提供参考。

2026-09-09 ~ 2026-09-09 · 5 条相关

• 【源头】Marigold V2 发布:单 GPU 后训练图像生成器做深度估计,入选 SIGGRAPH Asia 2026 — AntonObukhov1 · 2026-09-09
• 【源头】一张 32GB 消费级显卡微调 Qwen-Image-Edit 变深度估计器,几天搞定 — AntonObukhov1 · 2026-09-09
• Marigold V2 训练配方：4bit 量化 DiT 加 QLoRA 单卡微调 — AntonObukhov1 · 2026-09-09
• 【源头】Marigold V2 深度估计横扫 NYUv2、KITTI 等五大基准 — AntonObukhov1 · 2026-09-09

另有 1 条近重复转述:AntonObukhov1