BAGEL 自我反思修图:轨迹级 RL 把修复率从 21% 提到 65%

Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning

Yijia Fan, Ziqi Huang, Zhongang Cai, Yan Li, Zimo Wen, Wanqi Yin, Haiwen Diao, Ziwei Liu

cs.CV, cs.AI

2026-09-29

对 BAGEL 的完整反思修图轨迹做 RL,一个轨迹级优势同时更新反思文本与生图双头,GenEval 较 SFT +12.05 分,条件修复率 20.59%→64.94%,增益迁移到三个未训练 benchmark。

这篇在解决什么

统一多模态模型(unified model)把图像理解和图像生成放进同一个网络,能画也能看,原则上可以修自己的图:生成、检查、诊断错在哪、改一版、再看结果。难在训练信号。SFT 蒸馏的反思轨迹只给冷启动,模仿学到的是格式规范的批评,不保证改了就更对;已有 RL 工作只优化单次生成(T2I-R1、UniRL),模型从不回头改图;外部 critic 流水线(GenArtist、Idea2Img)推理时要在线调 critic,两个模型也互不针对优化。缺的是对统一模型自身多轮反思做 RL,按每条反思实际带来的视觉改进发信用。文本侧的 SCoRe 已证明多轮自纠必须在线 RL,这篇把结论搬到了像素。

方法

骨干是 BAGEL,理解和生成两个专家分支共享注意力,一个优势能同时推到两个头。分两阶段:

SFT 冷启动:GPT-5.5 当 critic 写结构化反思([THINKING]/[ACTION]/[EDIT]),Qwen-Image 出初始图、Qwen-Image-Edit 执行编辑,BAGEL 全程不参与,避免把自己的失败模式蒸馏回监督信号。29,529 条轨迹分 one-shot、自然修复、计划递进三类,SFT 一个 epoch 学会交错协议。
整轨迹 RL:每个 prompt 采一张初始图并从计算图 detach,从同一批像素采样 K=16 条完整反思轨迹。奖励由终图 verifier 得分、每轮进步项、多轮改进奖励、退化惩罚、过早停止惩罚组成,组内归一化后每条轨迹得到一个 advantage,同时更新文本头的反思 token 和 flow 头的渲染转移。

几个设计各有明确理由。共享根采样让组相对优势比较的是反思策略本身,不是首图运气。优势放在轨迹级而非每轮:每轮分支要 K^N 条 rollout(三轮 16³=4096),PPO 式 critic 要另训一个覆盖多轮图文状态的价值模型,轨迹级保住 GRPO 的 K 条采样成本,每轮进步项照样埋在奖励里。奖励是分级的:GenEval 官方二值评分下部分改进的增量为 0,六个族里五个的进步项会全部失效,所以只在失败区按各族满足比例给部分分,且部分分永远够不到通过线。verifier 只在训练时用,推理只跑统一模型。

结果

设置	GenEval	WISE	OneIG	CompBench
BAGEL-Base	0.71	0.55	0.80	0.49
反思 SFT	0.72	0.63	0.79	0.50
UMM-Reflection	0.84	0.74	0.83	0.55

初始图准确率三组都在 70-73,增益全部来自反思轮;条件修复率(初始错图最终被修好的比例)从 SFT 的 20.59% 升到 64.94%。
GenEval 内 position 族 +42 分(0.47→0.89),color binding +14,counting +10。
直接对渲染器做等量 RL(T2I-RL),单发 71→76,但 WISE 54 对 Base 55,不迁移;UMM-Reflection 是 84 对 74。
冻一头做同样 RL:只训 flow 头 73(修复率 22.8%),只训文本头 78(49.4%),联合 84(64.9%)。学会写什么指令贡献更大,渲染器还得学会执行这些新指令。
同等四图预算的 Best-of-4 只有 80;外部 GPT-5.5 critic 流水线 79、修复率 27.6%,推理还要在线调外部模型。
机制上有两组证据。RL 初期,16 条 SFT rollout 里 78% 的失败根已含至少一条正确修复,单条成功率只有 23%;训练后单条升到 70%,16 条封顶 97%,RL 把策略集中到 SFT 分布已有的修复路径上。线性探针显示模型「知道图对不对」的读出在 Base/SFT/RL 下 AUC 都是 0.80-0.82,RL 没造新能力,改变的是图像走向:进入通过区的失败图从 34% 升到 62%,SFT 只从 36% 到 42%。

为什么重要

统一模型的理解头和生成头可以用同一个 outcome 奖励联合训练,这是 critic 与渲染器分离的流水线做不到的。增益不是推理算力堆出来的:同预算 Best-of-4 到 80,这套到 84,部署时不需要 verifier 也不需要外部模型。对做图像生成的人,65% 的修复率意味着给三次修改机会能救回大半失败图,position 和 counting 这类组合错误受益最大。成本可控:16 张 H100 约 33 小时、1000 次 update、3000 条 prompt 池。

局限与存疑

RL 的 prompt 池来自 GenEval 六族(Flow-GRPO 发布的训练集),GenEval 上的 +12 有同分布成分;迁移到未训练 benchmark 的涨幅小得多(OneIG +3.48),CompBench 还有类别相对 Base 下跌(2D spatial -1.3、color -5.0)。8.8% 的初始正确图会被改坏,比 SFT 的 6.5% 更高。评测在 512×512,BAGEL 原生 1024,论文自己的解释是全轨迹采样撑不住更大分辨率。循环上限三轮,靠外置 controller 逐轮喂数据,BAGEL 原生不支持单次前向的交错生成。分级奖励直接用 GenEval verifier 的 detector 输出拼成,没有可验证评分器的领域(美学、开放生成)搬不过去。

术语

统一多模态模型(unified model):一个网络同时做图像理解和图像生成,如 BAGEL、Janus、Show-o。
Flow-GRPO:把组相对策略优化搬到 flow matching 生图模型上的 RL 方法。
组相对优势:同一 prompt 的一组 rollout 内部按奖励归一化算优势,不需要价值网络。
GenEval:文生图组合性 benchmark,含单物体、双物体、计数、颜色、位置、颜色绑定六族。
条件修复率:初始生成错误的图中,经反思修改最终变正确的比例。

原文与代码

社区讨论

UMM-Reflection 开源：交错强化学习让统一模型学会自我修正图像 ziqi_huang_