On-Policy Self-Distillation for Multi-Turn Image Editing
Liangbing Zhao, Le Zhuo, Mohamed Elhoseiny
cs.CV, cs.LG
2026-09-29
身份rollout自蒸馏把三款开源编辑器十轮成功率从3%–15%提到38%–52%，崩溃率不超过4%。
指令图像编辑(instruction-based image editing)单轮已经能用：给一张图加一句自然语言，改灯光、换风格、挪物体都做得到。真正的工作流却是连着改，上一轮输出直接当下一轮输入。现成模型在这种递归编辑下掉得很快，几轮后就会出现高频彩噪、结构碎裂、主体身份漂移。
KAUST 和 Krea AI 把原因钉在 conditioning（条件输入）分布的训练-测试失配上。训练时模型只见过干净源图，推理时却要反复条件在自己带瑕疵的输出上。小误差单轮看不出来，一轮接一轮就会放大。诊断很干净：反复下「什么都别改」，Qwen-Image-Edit 和 OmniGen2 仍然逐轮漂移。这和自回归视频生成里的 exposure bias 同类：训练见干净输入，推理却踩在自己的输出上。
多轮标注稀缺，端到端反传还要穿过上百步去噪，算力吃不消。Emu Edit 这类免训练修补把几乎没动的像素贴回上一轮，局部编辑有用，全局 restyle 时像素本该大面积变，贴回去就废了。
MT-OPSD 的判断很具体：预训练编辑器在干净条件下已经会改图，缺的只是在自己弄脏的图上继续改。它不建模完整多轮历史，只用 identity rollout（身份滚动生成）把模型自己引入的误差拆出来。
四步可以复述：
数据只用 OmniEdit 大约 2000 对源图-指令，不用 ground-truth 编辑图，也不要多轮标注。三款 backbone 都用 LoRA rank 32：Qwen-Image-Edit-2511、FireRed-Image-Edit、FLUX.2-klein-base。四张 H100/H200 训练，另四张做异步门控评估。
LME-Bench 有 100 条会话、每条 10 轮。源图由 Z-Image-Turbo 生成 1024×1024，均分 10 个语义类。每条 6 次局部加 4 次全局编辑，全局不相邻、不放最后两轮。GPT-4o 给 prompt following 和 consistency 打 0–10 分，两项都至少 7 才算该轮成功；SR@k 要求前 k 轮全成功。CR@k 是到第 k 轮已连续两轮被判视觉崩坏的会话比例。
| 方法 | SR@10 | CR@10 |
| Qwen-Image-Edit-2511 | 0.03 | 0.55 |
| +Emu Edit | 0.13 | 0.30 |
| +MT-OPSD | 0.44 | 0.02 |
| FireRed-Image-Edit | 0.15 | 0.61 |
| +VAE-LFA | 0.37 | 0.33 |
| +MT-OPSD | 0.52 | 0.03 |
| FLUX.2-klein-base | 0.12 | 0.25 |
| +MT-OPSD | 0.38 | 0.04 |
| GPT-Image-1 | 0.01 | 0.69 |
| GPT-Image-2 | 0.96 | 0.00 |
三款开源基座 SR@10 掉到 0.03–0.15，CR@10 升到 0.25–0.61。免训练方法看 backbone：Emu Edit 帮 Qwen 最多，VAE-LFA 帮 FireRed 更多，FreqEdit 长程上普遍更差。MT-OPSD 把 SR@10 拉到 0.38–0.52，CR@10 不超过 0.04，早期轮次也不掉。curriculum 只滚到大约 4 轮，十轮评测上的增益还在。
闭源侧，GPT-Image-1 十轮几乎全崩，被 MT-OPSD 全面超过。Nano Banana 很少崩，SR 被早期全局编辑拖住（SR@10=0.56）。GPT-Image-2 和 Nano Banana Pro 长程仍然更强，SR@10 分别是 0.96 和 0.91。
MSE-Bench 是已有五轮基准，偏局部编辑。Qwen 的 SR@5 从 0.24 升到 0.51，FireRed 从 0.40 升到 0.69，FLUX 持平在 0.49。单轮 ImgEdit 上三款几乎不掉：Qwen 4.51→4.49，FireRed 4.56→4.52，FLUX 4.20→4.28。
消融在 Qwen 上把机制钉死了。去掉编辑分支，SR@10 变成 0.00，CR@10 飙到 0.80。去掉身份分支，SR@10 还能到 0.49，但会过编辑，ImgEdit 从 4.49 掉到 3.88。把 on-policy 速度匹配换成对 teacher 生成图做普通 flow matching，SR@10 回到 0.03，CR@10 到 0.67，比基座还差。固定 4 轮深度，SR@10 只有 0.17；不晋升 teacher，SR@10 卡在 0.19，ImgEdit 反而最高，到 4.55。
VINCIE-7B 能看完整历史时 SR@10=0.47，只看上一轮则掉到 0.09。同等 previous-turn 协议下，三条 MT-OPSD 都更高。
这是一条便宜的适配路径：两千对单轮数据、LoRA、不要多轮标注。已经在用 Qwen-Image-Edit、FireRed 或 FLUX.2-klein 做产品级连改的人，这篇比贴 Emu Edit、FreqEdit、VAE-LFA 更对症，尤其是全局 restyle 穿插局部修改的会话。
它没有把开源模型推到 GPT-Image-2 的长程水平。它证明单轮能力可以迁到自生成状态上，exposure bias 不必靠多轮真值或 RL 才能压。更值得跟的是 identity rollout 这个造状态的方法，以及在学生自己走到的状态上匹配 teacher 速度，比伪标签 SFT 有效得多。
论文没有单独的 Limitations 节。
评测和 teacher 晋升都用 GPT-4o。门控集 23 条会话的构造流程和 LME-Bench 同源，只是源图不重叠。指标提升有可能部分来自更会讨好同一套 judge，论文没有交叉模型 judge，也没有人类评测对照。
LME-Bench 源图全是 Z-Image-Turbo 合成的，不是实拍。身份 rollout 只积累「什么都别改」时的误差，真实编辑引入的误差形态可能不同。十轮增益能泛化，不代表误差分布已经被覆盖。
即便加上 MT-OPSD，开源模型 SR@10 最高也只有 0.52，一半会话在十轮内仍会在某一步失败。GPT-Image-2 的 0.96 还在另一档。VINCIE 原生设定能看完整历史，协议不完全对称。训练分辨率是 512²，评测源图是 1024×1024。训练要 8 张高端 GPU，没报墙钟，也没测实拍连改。