文生图用配对差分做后训练,比Flow-GRPO快19倍

Finite Difference Flow Optimization for RL Post-Training of Text-to-Image Models

David McAllister, Miika Aittala, Tero Karras, Janne Hellsten, Angjoo Kanazawa, Timo Aila, Samuli Laine

cs.CV, cs.AI, cs.LG, cs.NE, stat.ML

2026-03-13

把整条去噪当成一次动作,用成对图像的奖励差拉动流速。在 SD 3.5 Medium 上,同一综合奖励约比 Flow-GRPO 快 19 倍,长时间训练未见网格伪影。

这篇在解决什么

flow matching 把文生图写成速度场:网络预测每一步往哪走,沿常微分方程从噪声走到成图。预训练把这条流钉在数据上。后训练想要更好看、构图更稳、光更有表现力,这些写不成损失,只能用代理奖励,例如人类偏好,或文字是否写对。

DDPO、Flow-GRPO、DanceGRPO 把随机采样写成马尔可夫决策过程(MDP)。每步去噪是一次高斯动作,轨迹分高于组内平均,流速就朝该步的随机扰动拉。更新平均指向高分图,单步里接近一半可能和奖励反向。大部分幅度是无关噪声,奖励没管的维度会漂,风格来回变,漂久了变成副作用,微调做不长。拉长训练的 Flow-GRPO 会冒出网格伪影,随后又消退。

方法

工作来自 NVIDIA 与 UC Berkeley。有限差分流优化(FDFO)把整条采样当成一次动作。同一噪声走出两条轨迹,随机性很小,细部变了,布局大体还在。图像差 Δx 乘奖励差 ΔR,从低分图指向高分图,两条轨迹每个时间步的流速都朝这边弯。MDP 强化的是该步碰巧走出的扰动,FDFO 写进每一步的是同一次终点比较。

前提是扩散流大体不打转。半噪声图上加一点信号,后面的去噪会把差异留到成图,像在半成品上涂一块颜色,剩下的流把它长成物体。这要求剩余映射的雅可比大体半正定。最优传输映射满足它,扩散流只是数值上接近,反例可以构造。

普通 Euler-Maruyama 的时间条件和噪声幅度对不齐,有的步噪声偏大。FDFO 改用 EDM 采样器:先沿常微分方程冲过目标时刻,再补新噪声落回下一步。γ 默认全程 0.0025,大约是该步噪声被重抽的比例。更复杂的时间表没有稳定收益。ΔR 大致正比于图像差的长度,原始乘积会把长度算两遍,因此对 Δx 做均方根归一化,分母加 1e-6。

算力与 Flow-GRPO 对齐。底模是 Stable Diffusion 3.5 Medium,只训 LoRA,即冻结网络上的低秩层。图为 512×512,训练和推理都是 40 步。每 epoch 采 432 对,存下 40 步,拆成 4 个 batch,每 batch 8640 个样本,AdamW 更新。同一批轨迹会更新多步,用 SPO 裁剪压住漂太远的流速,作用与 PPO-Clip 同类。主实验关掉 KL 和 CFG。CFG 放大有提示与无提示的速度差,也会盖住算法差距。每 epoch 的模型前向和奖励次数相同。

提示来自 Pick-a-Pic 训练集。PickScore 拟合人类偏好。另一项用视觉语言模型 Qwen2.5-VL-7B-Instruct,问图是否符合标题,奖励为 100×sigmoid(Yes 与 No 的 logit 差)。综合奖励是 PickScore 加 VLM 分除以 10。

结果

同一 epoch 成本下,PickScore 两边都优化得动,FDFO 更高、更快。Flow-GRPO 在 1000 epoch、2000 训练步到 23.43,接近原论文。VLM 对齐更难,差距拉开。综合奖励上 FDFO 同样更快更高。

OneIG-Bench 看对齐和多样性,HPSv2 看人类偏好,都在 checkpoint 上事后计算。只训 PickScore,对齐分几乎不动;VLM 专打对齐;综合奖励更稳,配上 FDFO 时偏好也最好。多样性都会掉,PickScore 最快,VLM 最慢。相同奖励下,两种算法掉得差不多。

消融用综合奖励,下表是 OneIG 对齐分。

设置200 epoch最高
Flow-GRPO71.0679.56
换 FDFO 采样器76.7482.94
再改为有限差分82.1483.07
同组共用初始噪声81.1183.95
完整 FDFO82.1384.25
一条轨迹改为确定性79.7684.02
PPO 替换 SPO81.9983.91
取消 Δx 归一化79.7480.78
改用奖励真梯度81.4783.73
真梯度反传过 SDE 步66.6968.78

换采样器再改成有限差分后,200 epoch 从 71.06 到 82.14,最高分从 79.56 到 83.07。再加上共用噪声,200 epoch 降到 81.11,最高分到 83.95,完整方法 84.25。确定性轨迹最高 84.02,200 epoch 仅 79.76。PPO 只在区间式 γ 上追上 SPO,这是常数 γ 明显更差的唯一一组。不归一化停在 80.78。真梯度不更好,反传过采样步掉到 66.69,低于 Flow-GRPO 的 71.06。

墙钟按 NVIDIA H200 小时。40 步跨过同一综合奖励,FDFO 约 29.3 小时,Flow-GRPO 约 562.5 小时,记为 19 倍。10 步约 17.3 对 89.6 小时,记为 5 倍。对方实现有额外开销。零开销估计里优势还在,倍数正文没给。

Flow-GRPO 在追平奖励前就有风格漂移。第 830 epoch 的手选图里网格很重,随后消退,综合奖励罚得不重。FDFO 在同奖励的第 70 epoch 没有这套伪影,拉长到同样时长也没有。

约 4 小时、3200 对在线两两偏好,提示来自 HPDv2,无奖励模型、无离线数据,由一位作者标完,训 50 epoch。图 10 仅定性。文中估计同样时长不够 Flow-GRPO 一类方法收完。

CFG 权重试了 1、2、4.5。训练前,无 CFG 的底模又糊又偏题,w=4.5 抬质量和对齐,同时压多样性。训练后不开 CFG 细节更多;开 CFG 则更少样、更高对比,推理更贵。留不留,没有定量结论。

为什么重要

已有 Flow-GRPO 后训练时,FDFO 不增加每 epoch 的模型前向和奖励次数。40 步下同一综合奖励大约快 19 倍,网格一类副作用更少,微调可以更久。奖励不用对像素可导,人类一次比较就能当 ΔR。可导时真梯度也不更好,VLM 不必接进生成器计算图。底座还是 SD 3.5 Medium 的 LoRA。代理分一旦写偏,更干净的更新会追得更紧。

局限与存疑

主实验关掉 KL 和 CFG,免得正则盖住算法差距。生产后训练里这两项通常还开着。KL 能与 FDFO 同用,结果在附录,正文没给加上 KL 之后还快多少。多样性怎么留是开问题,文中建议用 VLM 直接奖励多样性。

中间步的差分能传到成图,只在期望意义下讲得通,反例存在。γ 取 0.0025,以及流大体不打转,没有换时间表或分辨率再验。

数字对照基本只有 Flow-GRPO。DanceGRPO、DDPO、Diffusion-DPO,还有 ReFL、DRaFT,都没有同设置分数。19 倍里含有实现开销。人类实验只有一位标注者,没有 OneIG 或 HPSv2。网格图是手选的严重帧。只做了 SD 3.5 Medium、512 分辨率和 LoRA。换奖励或换底模之后差距还在不在,没有验证。

术语

原文与代码

社区讨论

相关论文

全部论文解读