DMD2 蒸馏 LoRA 让 Qwen-Image-2.1 从 20 步压到 2 步实现实时编辑
linoy_tsaban · x · 2026-10-26
- 作者 linoytsaban 发布 Qwen-Image-2.1-DMD2-2steps：用 DMD2(分布匹配蒸馏)训练的 2 步蒸馏 LoRA,把 Qwen-Image-2.1 的 20 步采样压缩到 2 步前向(固定 sigmas [1.0, 0.5],truecfgscale=1.0),实现接近实时的交互式编辑。
方法与训练
- DMD2 on-policy 分布匹配,无回归/GAN 损失,带 teacher CFG 引导
- LoRA rank 32 / alpha 32,仅作用于注意力层(attention-only)
- 单张 H100 训练 2000 步,1 MP 多宽高比
质量
- 与官方 20 步演示同 seed 对比(sketch-to-photo、发型、表情、照片修复、多参考合成):2 步结果与基础模型接近
- 保留多参考图输入(Picture 1/Picture 2 提示词写法)
使用
- 需 diffusers dev 分支(pip install git+...@qwenimage21-lora-training),用 QwenImage21Pipeline
- 附 Space 在线演示与权重链接,作者正在自己的 Wednesday 基准上测试
「多模态」频道最新
- 「把我变成低多边形风格」：AI 生成效果与原图神级还原 — D3VAUX · 2026-10-26
- 用 Wikimedia Commons 免费给 Claude 供 1.49 亿+素材做视频剪辑 — alexcovo_eth · 2026-10-26
- Surehand MCP：让 AI 每次 After Effects 编辑都带像素级验证 — ronron555 · 2026-10-26
- ElevenLabs 推 Chimera：Eleven v4 配音驱动 Seedance 2.5 视频口型与情绪 — Aiden_Tech_Ai · 2026-10-26
- 8GB 显存全本地跑通「书籍转有声书视频」管线，作者开源原型 — top115 · 2026-10-26
- 5090 本地跑 MiniMax H3 复刻 80 年代风格 Flock Safety 广告 — Effective_Garbage_34 · 2026-10-26