OPD 重新审视 CFG：分支感知蒸馏修复负分支失衡

Bingnan Li · hf · 2026-07-28

这篇工作重新审视了扩散模型在 on-policy distillation（OPD）中如何处理 classifier-free guidance（CFG）。

作者指出，直接去匹配“CFG 组合后的预测”在分支层面是欠约束的：正向分支和负向分支的误差可能在最终 guided 输出里互相抵消。
在共享同一个 negative conditioning 的场景里，朴素的 guided matching 仍然有效，因为正、负分支误差往往会一起下降。
但如果 teacher 的 negative branch 含有 student 拿不到的“特权信息”，这种同步下降就会失效：模型可能一边降低正向误差，一边抬高负向误差。
作者把这种失衡命名为 Negative Branch Asymmetry（NBA）。
为了修复这个问题，他们提出 Positive–Direction Matching（PDM），把正向预测和 CFG 条件方向分开约束。
在 dense-to-sparse video control 任务上，PDM 被证明对推理时 guidance scale 的变化更稳健，也更利于知识迁移。

「多模态」频道最新