eDMD 只拟合终点,四底模 4 步 HPSv3++ 全第一

eDMD: Endpoint Distribution Matching for Few-Step Diffusion Distillation

Tong Zhao, Xianfang Zeng, Yucheng Han, Ruoyu Wang, Mingkun Lei, Gang Yu, Chi Zhang

cs.CV

2026-11-13

eDMD 把 fake 模型只训在学生最终交付的成图上,并拿它纠正每一步去噪,四款图像底模收成 4 步后 HPSv3++ 峰值都高于分布匹配基线,FLUX 四亿版达到 12.70,DMD2 为 11.34。

这篇在解决什么

少步蒸馏要把几十步的扩散或 flow matching 教师收成四步的学生,推理只交付最后一张图。

DMD(分布匹配蒸馏)在线训一个 fake 模型跟踪学生分布,用教师预测减去 fake 预测来推学生。一步生成时,这次预测就是成图。DMD2 把各步干净预测混进同一个 fake,TDM 按阶段为中间状态建参照。匹配绑在中间分布上,交付的却是终点那一张。

少步学生的中间态不必复刻教师在同一噪声级的边缘。最终成图已经对齐时,中间参照仍会留下残差。精确去噪器下,这项残差为零,当且仅当 fake 拟合的是终点分布。二维树状分布上,终点已经对齐时,终点参照的更新是零,混合参照和阶段参照还在推;中间分布一内一外的两个学生,残差中位余弦为 -0.97。从对齐的学生继续训,阶段边缘、重要性加权和混合参照把能量距离推到 0.18、0.092 和 0.19,终点参照停在 0.004。

方法

eDMD 只把 fake 训在学生最终成图上,再用这同一个模型纠正每一个去噪步。学生和 fake 都从教师初始化,训练不用真实图像。

引导强度用各模型默认值:SD3-Medium 为 7,两款 FLUX.2-klein 为 4,Qwen-Image-2.1 为 1。Qwen 上另用扰动注意力引导增强教师。前三个底模用 19.15 万条提示训 2000 次更新,Qwen 用改写提示训 600 次。

结果

DrawBench 200 条提示、每条 5 个种子,共 1000 张;DPG 用的是 DPG-Bench。每 100 次更新在原始权重和 EMA 中按 HPSv3++ 取峰值。DMD2 去掉了原配方里的 GAN 损失。教师和官方少步权重不参与排名。

底模eDMD最强基线官方或教师参照
SD3-Medium11.171D-DMD 10.84128 步教师 8.554
FLUX.2-klein-4B12.699DMD2 11.337官方 4 步 10.509
FLUX.2-klein-9B12.431D-DMD 11.325官方 4 步 11.526
Qwen-Image-2.114.691DMD2 14.2128 步 Turbo 13.850

四个底模的峰值 HPSv3++ 都是 eDMD。固定预算同样如此:SD3 在 1000 次为 11.171、2000 次降到 10.820,仍高于 D-DMD 的 10.677;FLUX 4B 在 1000 次为 12.072、2000 次为 12.699。DPG 与 HPSv2.1 上,参加排名的学生里也是 eDMD。Qwen 的七项分数都高于 DMD2 和 TDM。

并不是每一列都第一。SD3 上官方 CDM 的 HPSv3 为 11.890,高于 eDMD 的 11.336,PickScore 为 22.622 对 22.589。FLUX 4B 官方四步的 PickScore 为 22.815、DPG 为 85.79,高于 eDMD 的 22.721 和 83.41。CLIP 多半还是教师或官方权重更高。偏好分把四步学生抬过了多步教师,语义分没有一起抬。

去掉终点参照的伤害最大:SD3 从 11.171 降到 10.122,FLUX 4B 从 12.699 降到 11.095。去掉精确教师,降到 11.026 和 11.667。去掉查询校准,降到 10.798 和 12.507。重跑标准差约 0.074 与 0.11。终点项远大于噪声;FLUX 上查询密度本来接近均匀,校准的差距和噪声同级。FLUX 4B 在同一提示和噪声下,毛发和草地更完整。

为什么重要

用户看见的是最后一张图,匹配项现在只对这张图记账。中间预测可以偏离教师边缘。FLUX 4B 上,中间干净预测的范数可以到成图的 2.9 倍;换回混合参照后,这些预测向成图靠,成图变差。

短轨迹和查询校准只增加训练时的教师前向。均匀抽步时,短轨迹大约占 SD3 查询的 12.4%、FLUX 的 19.3%,学生推理仍是四次。只把 TDM 的 fake 换成终点参照、学生目标和展开不动,SD3 与两款 FLUX 的峰值和固定预算都会升。增益留在 DMD 家族内部。

局限与存疑

「残差消失当且仅当终点对齐」用的是精确去噪器,并且教师目标要来自同一个干净分布。CFG 和短轨迹给出的预测,一般并不是某个干净分布再加噪。残差去掉以后,校正归零不再表示学生分布等于教师。图像实验里四步学生的 HPSv3++ 经常高于默认步数的教师,更接近被引导推到高偏好模式。

主表没有 FID,也没有精度或召回。偏好分上升不能直接读成分布更接近教师。DMD2 基线没有 GAN,弱于原论文的完整版本。SD3 的 TDM 和 CDM 是官方权重,FLUX 上的 TDM 是 ℓ2 重实现,预算并不完全对齐。SD3 训到 2000 次反而比 1000 次低,报的是曲线上的峰值。

短轨迹不能铺到所有步。每个查询都改成多步积分时,FLUX 4B 在 1000 次更新的 HPSv3++ 掉到 -1.23,SD3 在 500 次时比完整方法低 1.43。查询校准在 FLUX 4B 上几乎均匀,不能当成四个底模的共同贡献。实验全是文生图,主表也没有一致性模型或对抗蒸馏。

术语

原文与代码

社区讨论

相关论文

全部论文解读