DeCoRL: Decomposed Consistency Reinforcement Learning for Multi-Image Composition
Zhiqiang Wu, Shuang Sun, Jiale Zhang, Jing Li, Yibo Chen, Xu Tang, Yao Hu
NeurIPS
cs.CV, cs.AI
2026-10-29
小红书在 Qwen 图像编辑模型上，把多图一致性拆成单物体打分再做强化学习。六张参考图得分从 6.15 升到 7.61，MICo 榜从 37.58 升到 54.03。
多图合成（MICo）要把多张参考图里的人、衣服、物件按指令放进同一张图，并保住身份和外观。单图编辑跟指令已经比较稳。参考图从 2 张加到 6 张，对应变成多对一，脸、颜色和材质会从错误的图上继承过来。
常见做法是大规模多图数据加监督微调（SFT，用成对样本模仿目标图）。损失只落在整张结果上，不标明每个物体出自哪张参考图，漏掉的物体、串掉的身份、漏到别的物体上的属性就一起出现。Qwen-Image-Edit、FLUX.2 已经能接多张参考图，闭源的 Nano-Banana-Pro 和 Seedream 4.0 也一样，参考图变多仍然会改身份、改属性。
让视觉语言模型给整组图打一个一致性总分，也不稳。跨图注意力有限时，连 GPT-4o 都判不准。奖励不稳，强化学习没有可靠信号。
工作来自小红书，底模是 Qwen-Image-Edit2511。超过三张参考图时底模不稳，所以先做 SFT。多图数据是 MICo-150K 与 UniPic 3.0，约 47 万条，覆盖 1 到 6 张；另加 Nano-consistent-150K，保住单图编辑。参考图共享一个总像素预算（文中例子是 1024²），按同一比例缩放，宽高比不动，视觉 token 才放得下。生成侧用 flow matching 训练，网络预测的是潜变量速度，不是干净图像本身。
DeCoRL 把整图像不像，拆成指令点名的每个物体像不像。
视觉语言模型读指令和参考图，只给这些物体写开放词表标签，背景不计。Grounding DINO（按文字在图里框区域的检测器）在参考图上取置信度最高的框并裁剪，再在生成图上检同一个标签。生成图没有框，该物体记 0 分，用来罚漏画。两边都有框，就把一对裁剪送进单物体打分器：PaCO-RL 上微调的 Qwen3-VL-32B。只标 yes/no 太容易抄近路，训练时要先写推理链（CoT）再下结论。打分读到第一个 yes 或 no，对两个 logit 之差做 sigmoid，得到 0 到 1 的分数；一直不出现就给 0。
各物体分数取平均，就是多物体奖励。缺的物体以 0 分进入这个平均。平均被留成最简形式，最差的那个物体可以仍然很差。
后训练用 Diffusion NFT。同一条指令采一组图，把奖励按组内均值和标准差收成 0 到 1 的权重，高分和低分朝相反方向更新速度预测，再用参考模型的速度差约束漂移。这套分解奖励不绑定该优化器。权重只更新秩 32 的 LoRA，底模冻结。裁剪看不出整图畸不畸形，于是另加 Qwen3.5-122B-10A 的通用惩罚，压不自然画面、结构扭曲、拼接痕迹和不合理互动，减少奖励被钻空子。
SFT 用 32 张 H800，批大小 128，2.4 万步，学习率 2×10^-5。强化学习从该检查点出发，数据只用 MICo-150K，同样 32 张 H800，组大小 16，学习率 3×10^-4。
DeCo-Bench 是自建榜，2 到 6 张参考图各 40 题，共 200 题，全是实拍。越高越好。
| 方法 | 指标 | 结果 |
| Qwen-Image-Edit2511 | DeCo-Bench 总分 | 6.22 |
| SFT | DeCo-Bench 总分 | 7.05 |
| DeCoRL | DeCo-Bench 总分 | 8.16 |
| Qwen-Image-Edit-MICo | DeCo-Bench 总分 | 5.17 |
| Qwen-Image-Edit-UniPic3.0 | DeCo-Bench 总分 | 6.02 |
| FLUX.2-dev | DeCo-Bench 总分 | 7.10 |
| Seedream 4.0（2K） | DeCo-Bench 总分 | 7.76 |
| Nano-Banana-Pro | DeCo-Bench 总分 | 8.69 |
| 原模型 | 6 张参考图 | 3.64 |
| SFT | 6 张参考图 | 6.15 |
| DeCoRL | 6 张参考图 | 7.61 |
| SFT | MICo-Bench 总分 | 37.58 |
| DeCoRL | MICo-Bench 总分 | 54.03 |
| FLUX.2-dev | MICo-Bench 总分 | 49.55 |
| Nano-Banana-Pro | MICo-Bench 总分 | 51.76 |
正文称 SFT 之后每一档都更好。表 1 里 2 张从 8.41 降到 8.34，4 张从 7.09 降到 6.80。DeCoRL 把这两档拉回 8.91 和 8.05。6 张从 SFT 的 6.15 到 7.61，原模型这一档只有 3.64；5 张原模型是 4.98。Nano-Banana-Pro 总分 8.69，DeCo-Bench 上仍高于 8.16。
公开 MICo-Bench 上，原模型、SFT、DeCoRL 是 22.90、37.58、54.03。54.03 高于 Nano-Banana-Pro 的 51.76，也高于 FLUX.2-dev 的 49.55。Human Centric 从 30.49 到 56.21，De&Re 从 45.50 到 64.42，Object Centric 从 39.60 到 53.47。HOI 只从 32.41 到 42.49。
相对 SFT：主体相似度 7.01 到 7.64，自然度 6.54 到 8.01，伪影分（越高表示伪影越少）5.76 到 6.64，指令遵循 8.76 到 8.69。一致性上去了，跟指令的贴合略降。
未训练的视觉语言模型做奖励，总分只到 7.21，其中 4 张从 6.80 掉到 6.42。换成 CoT 打分器后到 8.16。训练时，前者的多物体分大多低于 0.5，后者保持在 0.6 以上并上升。一个 prompt 的样本奖励已经又高又接近，就会被封禁，表示这个信号学满了。未训练模型的封禁数一直是 0，训练过的打分器随步数增加。
相对 SFT 的增益集中在 5 张、6 张，以及跟人相关的类别。2 张上 SFT 自己从 8.41 降到 8.34，DeCoRL 才回到 8.91。
能迁走的是拆法。整体分不可靠，就按指令圈出物体，再用单物体模型打分。检测器、打分器、优化器都写成了可替换部件。换一套底模还成不成立，正文没有第二组实验。
两个阶段都用 32 张 H800。奖励侧还要跑 32B 打分器和一个 122B 量级的通用模型。上线只留 LoRA。训练成本不低。
DeCo-Bench 上 8.16 仍低于 Nano-Banana-Pro 的 8.69。MICo-Bench 上 54.03 高于它的 51.76。SFT 没教明的对应关系被补上了一截。换一张榜不会自动变成全面领先。
主奖励只覆盖检测器框得住的物体。关系、互动、光照，以及无法定位的一致性，都没有分。更稳的匹配、照顾低分物体的聚合、超过 6 张参考图的数据和评测，都留在后续工作里。超过六张没有实验。
平均分盖得住短板。四个物体很高、一个很差，均值仍然好看。这种平均不保证各物体一起变好。每个标签只留 top-1 的框。标签重复或框偏了，会奖错区域，也可能把已经画出来的物体记成缺失。
DeCo-Bench 每档只有 40 题，而且是自建榜。谁打的分、满分是多少、和训练奖励是不是同一种偏好，正文都没写。和 Nano-Banana-Pro 大约半分的差距，评测协议不明时还不能当成稳定结论。
自然度从 6.54 到 8.01，伪影分从 5.76 到 6.64，旁边挂着专门惩罚畸形和拼接的通用奖励。没有去掉这一项再训的对照，两项功劳拆不开。指令遵循比 SFT 低约 0.07，没有跟着一致性一起涨。
打分器在 PaCO-RL 的裁剪对上学完，直接用到多图合成的裁剪上。这个跨数据的误差没有单独测过。