TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing
Ruikang Li, Zixuan Chen, Jiarui Wu, Mingde Yao, Yiyuan Zhang, Yujin Wang, Hanming Deng, Lewei Lu, Tianfan Xue
cs.CV, cs.AI
2026-11-05
TailSteer 只在去噪轨迹末段做 on-policy 微调,FLUX.2 klein 连续编辑 10 轮后背景 PSNR 由 13.85 升至 19.96,单轮编辑分数基本不掉。
图像编辑模型单轮效果再好,放进多轮对话里也会走样。每轮输出成为下一轮输入,上一轮留下的细微改动(纹理变糊、人脸细节漂移、背景色偏)被反复继承,二十轮后画面已经面目全非。ChatGPT Images、Nano Banana 2 这类产品都在往多轮迭代编辑的方向走,这个问题越来越现实。
此前的补救分三路:加外部模块(mask、一致性 LoRA、频域校正),这类方案会牺牲预训练先验,往往只适合局部编辑;改表示空间(换 VAE、做像素扩散),能压单轮误差,重复编辑仍会退化;给流程加记忆或 agent 规划,不改模型本身,还多一份推理开销。论文要做的是第四条路:直接把抗漂移能力训进基座模型,推理时不加任何组件。
TailSteer 的出发点是一个观察:扩散采样先定低频结构,高频细节在轨迹末段才补出来,而未改动区域的误差到终点仍不为零。所以只需要在轨迹尾部纠偏,前半段保持原样。
监督信号怎么来。不用人工标注的编辑对。用冻结的基座模型自己跑两类 rollout:一类是「保持图像完全不变」的 identity 编辑,整图都是保持目标;一类是局部编辑,比较源图和输出,筛出变化小且集中的样本,再由差异生成保持掩码 M。目标终点把 M 内的区域换回源图内容,M 外保留模型自己的编辑结果。这样模型不会被逼着去拟合某一种编辑实现,只被要求把无关区域还原。
为什么不只训最后一步。论文先做了单步终端干预:只在最后一步监督。只在最后一步换用微调模型,20 轮后人脸仍稳定;但整条轨迹都用它,画面会发灰、过度平滑,因为参数跨时间步共享,末步训练会扰动早期动力学。
完整版。设一个 steering onset ks,把轨迹分成两段:
推理时只用微调后的单个模型跑完整采样,没有切换、没有适配器。
训练数据来自 11,947 张源图,最终缓存 38,540 条轨迹,每个骨干训 2,000 步,8 张 H100。在 FLUX.1 Kontext、FLUX.2 klein 9B、SenseNova-U1.5-8B、Qwen-Image-2.1 四个骨干上验证。
作者自建的 Add & Preserve 基准(100 张图,框内连续 10 次增删物体,统计框外漂移):
| 方法(FLUX.2 klein) | PSNR@10 | SSIM@10 | LPIPS@10 |
| 基座 | 13.85 | 0.289 | 0.524 |
| TailSteer(ks=46) | 19.96 | 0.621 | 0.290 |
SenseNova 的 PSNR@10 从 11.23 升到约 18.2。论文称 TailSteer-Klein 在三项保持指标上超过 GPT-Image-2.5 Sunburst(API)。物体正确率 COA 与基座基本持平,说明不是靠拒绝编辑换来的保持。
单轮能力保留(Klein):GEdit-EN 基座 7.47,TailSteer 7.52;RISE 14.17 变 13.61;外挂方案 FreqEdit 7.20、ConsLoRA 6.58。
消融(Klein,同一份数据):
| 训练方式 | GEdit-EN | PSNR@10 |
| 标准 SFT | 5.24 | 19.77 |
| 只训最后一步 | 2.24 | 14.93 |
| 无 on-policy | 7.44 | 约 19.8 |
| 完整 TailSteer | 7.52 | 19.96 |
SFT 能抗漂移但编辑能力掉了两分多。去掉 on-policy 后 RISE 掉到 11.39(完整版 13.61),空间重排任务出问题。数据规模越大保持越好,混合 identity 与局部编辑的平衡最佳。
对要在自己模型上做多轮编辑的团队,这是一条低成本路线:不改架构、不加推理模块、不要跨轮数据,监督全部由自己模型生成。方法只依赖去噪轨迹,所以跨 FLUX、SenseNova、Qwen 都能用。
它更接近一次「后训练补丁」,不是新的编辑能力。与 VAE 回环互补:Klein 绕过轮间 VAE 后,第 10 轮 PSNR 接近标准反馈下的第 5 轮水平。