Marigold V2 登场，改图像编辑模型实现指令式视频编辑
AntonObukhov1 · x · 2026-09-10
两条相关研究动态：
- Marigold V2（将亮相 SIGGRAPH Asia 2026）：初代 Marigold 单卡 GPU 上把图像生成器后训练成深度估计器，V2 升级到扩散 Transformer（DiT）架构，边缘更锐利且更通用。
- Qwen-Video-Edit（Yunpeng Bai 等）：不依赖视频预训练模型，直接让 Qwen-Image-Edit 这个图像编辑 DiT 编辑 video-VAE latents。方法是用两个小型投影把 Wan 2.1 latent 空间桥接到 DiT token 空间，latent 帧排成一个大虚拟图块的 tiles，配 grid RoPE；在 Ditto-1M（源视频、编辑后视频、指令）三元组上用 LoRA 或全参数微调，再用 Wan 2.2 做去噪增强。支持长视频分段多指令编辑与竖屏视频。作者称"把深度图变成能被 VAE 重建的 3 通道图像"是近两年最巧妙的技巧之一。
所属事件:Marigold V2 发布：单卡训练的 DiT 深度估计器(11 条相关)→
「多模态」频道最新
- MOSS Image Edit 对比 Fibo-2.0-edit:五组编辑效果实测 — Illustrious_Row_9971 · 2026-10-27
- 纯用雾气和建筑做出电影级片头:ComfyUI 图生视频工作流分享 — magratheya_64 · 2026-10-27
- Fish Audio 开源发布 Drama 3 TTS,博主演示旧帖一键转有声视频 — alex_verem · 2026-10-27
- Reddit 用户用 ComfyUI 生成逼真「清晨公交」短片 — no3us · 2026-10-27
- 网友为 MOSS 模型做模糊/防模糊 Slider LoRA,负权重让背景更清晰 — NoMouse9610 · 2026-10-27
- PixGR：像素空间生成式解码加速前馈 3D 高斯重建 — kwangmoo_yi · 2026-10-27