OPD 重新审视 CFG:分支感知蒸馏修复负分支失衡
Bingnan Li · hf · 2026-07-28
这篇工作重新审视了扩散模型在 on-policy distillation(OPD) 中如何处理 classifier-free guidance(CFG)。
- 作者指出,直接去匹配“CFG 组合后的预测”在分支层面是欠约束的:正向分支和负向分支的误差可能在最终 guided 输出里互相抵消。
- 在共享同一个 negative conditioning 的场景里,朴素的 guided matching 仍然有效,因为正、负分支误差往往会一起下降。
- 但如果 teacher 的 negative branch 含有 student 拿不到的“特权信息”,这种同步下降就会失效:模型可能一边降低正向误差,一边抬高负向误差。
- 作者把这种失衡命名为 Negative Branch Asymmetry(NBA)。
- 为了修复这个问题,他们提出 Positive–Direction Matching(PDM),把正向预测和 CFG 条件方向分开约束。
- 在 dense-to-sparse video control 任务上,PDM 被证明对推理时 guidance scale 的变化更稳健,也更利于知识迁移。
「多模态」频道最新
- TopviewAI 推出 Film Studio,支持 3D 分镜和微表情控制 — XFreeze · 2026-07-28
- GaussianGPT 用自回归 next-token 生成 3D Gaussian 场景 — rsasaki0109 · 2026-07-28
- 图像生成避坑:如何正确测试混合了画风的角色LoRA — Dark_Sytze · 2026-07-28
- FilmBench 用电影学院 shot list 评测视频生成 — Shengyi Wang · 2026-07-28
- VLM 证据归因不靠框,靠引用与检索更准 — Zhuchenyang Liu · 2026-07-28
- Oxygen-TryOn 以时尚原生模型做多件虚拟试衣 — JD-company · 2026-07-28