只微调去噪轨迹尾部,FLUX.2 klein 连改 10 轮 PSNR 从 13.85 升到 19.96

TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing

Ruikang Li, Zixuan Chen, Jiarui Wu, Mingde Yao, Yiyuan Zhang, Yujin Wang, Hanming Deng, Lewei Lu, Tianfan Xue

cs.CV, cs.AI

2026-11-05

TailSteer 只在去噪轨迹末段做 on-policy 微调,FLUX.2 klein 连续编辑 10 轮后背景 PSNR 由 13.85 升至 19.96,单轮编辑分数基本不掉。

这篇在解决什么

图像编辑模型单轮效果再好,放进多轮对话里也会走样。每轮输出成为下一轮输入,上一轮留下的细微改动(纹理变糊、人脸细节漂移、背景色偏)被反复继承,二十轮后画面已经面目全非。ChatGPT Images、Nano Banana 2 这类产品都在往多轮迭代编辑的方向走,这个问题越来越现实。

此前的补救分三路:加外部模块(mask、一致性 LoRA、频域校正),这类方案会牺牲预训练先验,往往只适合局部编辑;改表示空间(换 VAE、做像素扩散),能压单轮误差,重复编辑仍会退化;给流程加记忆或 agent 规划,不改模型本身,还多一份推理开销。论文要做的是第四条路:直接把抗漂移能力训进基座模型,推理时不加任何组件。

方法

TailSteer 的出发点是一个观察:扩散采样先定低频结构,高频细节在轨迹末段才补出来,而未改动区域的误差到终点仍不为零。所以只需要在轨迹尾部纠偏,前半段保持原样。

监督信号怎么来。不用人工标注的编辑对。用冻结的基座模型自己跑两类 rollout:一类是「保持图像完全不变」的 identity 编辑,整图都是保持目标;一类是局部编辑,比较源图和输出,筛出变化小且集中的样本,再由差异生成保持掩码 M。目标终点把 M 内的区域换回源图内容,M 外保留模型自己的编辑结果。这样模型不会被逼着去拟合某一种编辑实现,只被要求把无关区域还原。

为什么不只训最后一步。论文先做了单步终端干预:只在最后一步监督。只在最后一步换用微调模型,20 轮后人脸仍稳定;但整条轨迹都用它,画面会发灰、过度平滑,因为参数跨时间步共享,末步训练会扰动早期动力学。

完整版。设一个 steering onset ks,把轨迹分成两段:

推理时只用微调后的单个模型跑完整采样,没有切换、没有适配器。

结果

训练数据来自 11,947 张源图,最终缓存 38,540 条轨迹,每个骨干训 2,000 步,8 张 H100。在 FLUX.1 Kontext、FLUX.2 klein 9B、SenseNova-U1.5-8B、Qwen-Image-2.1 四个骨干上验证。

作者自建的 Add & Preserve 基准(100 张图,框内连续 10 次增删物体,统计框外漂移):

方法(FLUX.2 klein)PSNR@10SSIM@10LPIPS@10
基座13.850.2890.524
TailSteer(ks=46)19.960.6210.290

SenseNova 的 PSNR@10 从 11.23 升到约 18.2。论文称 TailSteer-Klein 在三项保持指标上超过 GPT-Image-2.5 Sunburst(API)。物体正确率 COA 与基座基本持平,说明不是靠拒绝编辑换来的保持。

单轮能力保留(Klein):GEdit-EN 基座 7.47,TailSteer 7.52;RISE 14.17 变 13.61;外挂方案 FreqEdit 7.20、ConsLoRA 6.58。

消融(Klein,同一份数据):

训练方式GEdit-ENPSNR@10
标准 SFT5.2419.77
只训最后一步2.2414.93
无 on-policy7.44约 19.8
完整 TailSteer7.5219.96

SFT 能抗漂移但编辑能力掉了两分多。去掉 on-policy 后 RISE 掉到 11.39(完整版 13.61),空间重排任务出问题。数据规模越大保持越好,混合 identity 与局部编辑的平衡最佳。

为什么重要

对要在自己模型上做多轮编辑的团队,这是一条低成本路线:不改架构、不加推理模块、不要跨轮数据,监督全部由自己模型生成。方法只依赖去噪轨迹,所以跨 FLUX、SenseNova、Qwen 都能用。

它更接近一次「后训练补丁」,不是新的编辑能力。与 VAE 回环互补:Klein 绕过轮间 VAE 后,第 10 轮 PSNR 接近标准反馈下的第 5 轮水平。

局限与存疑

术语

原文与代码

社区讨论

相关论文

全部论文解读