Finite Difference Flow Optimization for RL Post-Training of Text-to-Image Models
David McAllister, Miika Aittala, Tero Karras, Janne Hellsten, Angjoo Kanazawa, Timo Aila, Samuli Laine
cs.CV, cs.AI, cs.LG, cs.NE, stat.ML
2026-03-13
把整条去噪当成一次动作,用成对图像的奖励差拉动流速。在 SD 3.5 Medium 上,同一综合奖励约比 Flow-GRPO 快 19 倍,长时间训练未见网格伪影。
flow matching 把文生图写成速度场:网络预测每一步往哪走,沿常微分方程从噪声走到成图。预训练把这条流钉在数据上。后训练想要更好看、构图更稳、光更有表现力,这些写不成损失,只能用代理奖励,例如人类偏好,或文字是否写对。
DDPO、Flow-GRPO、DanceGRPO 把随机采样写成马尔可夫决策过程(MDP)。每步去噪是一次高斯动作,轨迹分高于组内平均,流速就朝该步的随机扰动拉。更新平均指向高分图,单步里接近一半可能和奖励反向。大部分幅度是无关噪声,奖励没管的维度会漂,风格来回变,漂久了变成副作用,微调做不长。拉长训练的 Flow-GRPO 会冒出网格伪影,随后又消退。
工作来自 NVIDIA 与 UC Berkeley。有限差分流优化(FDFO)把整条采样当成一次动作。同一噪声走出两条轨迹,随机性很小,细部变了,布局大体还在。图像差 Δx 乘奖励差 ΔR,从低分图指向高分图,两条轨迹每个时间步的流速都朝这边弯。MDP 强化的是该步碰巧走出的扰动,FDFO 写进每一步的是同一次终点比较。
前提是扩散流大体不打转。半噪声图上加一点信号,后面的去噪会把差异留到成图,像在半成品上涂一块颜色,剩下的流把它长成物体。这要求剩余映射的雅可比大体半正定。最优传输映射满足它,扩散流只是数值上接近,反例可以构造。
普通 Euler-Maruyama 的时间条件和噪声幅度对不齐,有的步噪声偏大。FDFO 改用 EDM 采样器:先沿常微分方程冲过目标时刻,再补新噪声落回下一步。γ 默认全程 0.0025,大约是该步噪声被重抽的比例。更复杂的时间表没有稳定收益。ΔR 大致正比于图像差的长度,原始乘积会把长度算两遍,因此对 Δx 做均方根归一化,分母加 1e-6。
算力与 Flow-GRPO 对齐。底模是 Stable Diffusion 3.5 Medium,只训 LoRA,即冻结网络上的低秩层。图为 512×512,训练和推理都是 40 步。每 epoch 采 432 对,存下 40 步,拆成 4 个 batch,每 batch 8640 个样本,AdamW 更新。同一批轨迹会更新多步,用 SPO 裁剪压住漂太远的流速,作用与 PPO-Clip 同类。主实验关掉 KL 和 CFG。CFG 放大有提示与无提示的速度差,也会盖住算法差距。每 epoch 的模型前向和奖励次数相同。
提示来自 Pick-a-Pic 训练集。PickScore 拟合人类偏好。另一项用视觉语言模型 Qwen2.5-VL-7B-Instruct,问图是否符合标题,奖励为 100×sigmoid(Yes 与 No 的 logit 差)。综合奖励是 PickScore 加 VLM 分除以 10。
同一 epoch 成本下,PickScore 两边都优化得动,FDFO 更高、更快。Flow-GRPO 在 1000 epoch、2000 训练步到 23.43,接近原论文。VLM 对齐更难,差距拉开。综合奖励上 FDFO 同样更快更高。
OneIG-Bench 看对齐和多样性,HPSv2 看人类偏好,都在 checkpoint 上事后计算。只训 PickScore,对齐分几乎不动;VLM 专打对齐;综合奖励更稳,配上 FDFO 时偏好也最好。多样性都会掉,PickScore 最快,VLM 最慢。相同奖励下,两种算法掉得差不多。
消融用综合奖励,下表是 OneIG 对齐分。
| 设置 | 200 epoch | 最高 |
| Flow-GRPO | 71.06 | 79.56 |
| 换 FDFO 采样器 | 76.74 | 82.94 |
| 再改为有限差分 | 82.14 | 83.07 |
| 同组共用初始噪声 | 81.11 | 83.95 |
| 完整 FDFO | 82.13 | 84.25 |
| 一条轨迹改为确定性 | 79.76 | 84.02 |
| PPO 替换 SPO | 81.99 | 83.91 |
| 取消 Δx 归一化 | 79.74 | 80.78 |
| 改用奖励真梯度 | 81.47 | 83.73 |
| 真梯度反传过 SDE 步 | 66.69 | 68.78 |
换采样器再改成有限差分后,200 epoch 从 71.06 到 82.14,最高分从 79.56 到 83.07。再加上共用噪声,200 epoch 降到 81.11,最高分到 83.95,完整方法 84.25。确定性轨迹最高 84.02,200 epoch 仅 79.76。PPO 只在区间式 γ 上追上 SPO,这是常数 γ 明显更差的唯一一组。不归一化停在 80.78。真梯度不更好,反传过采样步掉到 66.69,低于 Flow-GRPO 的 71.06。
墙钟按 NVIDIA H200 小时。40 步跨过同一综合奖励,FDFO 约 29.3 小时,Flow-GRPO 约 562.5 小时,记为 19 倍。10 步约 17.3 对 89.6 小时,记为 5 倍。对方实现有额外开销。零开销估计里优势还在,倍数正文没给。
Flow-GRPO 在追平奖励前就有风格漂移。第 830 epoch 的手选图里网格很重,随后消退,综合奖励罚得不重。FDFO 在同奖励的第 70 epoch 没有这套伪影,拉长到同样时长也没有。
约 4 小时、3200 对在线两两偏好,提示来自 HPDv2,无奖励模型、无离线数据,由一位作者标完,训 50 epoch。图 10 仅定性。文中估计同样时长不够 Flow-GRPO 一类方法收完。
CFG 权重试了 1、2、4.5。训练前,无 CFG 的底模又糊又偏题,w=4.5 抬质量和对齐,同时压多样性。训练后不开 CFG 细节更多;开 CFG 则更少样、更高对比,推理更贵。留不留,没有定量结论。
已有 Flow-GRPO 后训练时,FDFO 不增加每 epoch 的模型前向和奖励次数。40 步下同一综合奖励大约快 19 倍,网格一类副作用更少,微调可以更久。奖励不用对像素可导,人类一次比较就能当 ΔR。可导时真梯度也不更好,VLM 不必接进生成器计算图。底座还是 SD 3.5 Medium 的 LoRA。代理分一旦写偏,更干净的更新会追得更紧。
主实验关掉 KL 和 CFG,免得正则盖住算法差距。生产后训练里这两项通常还开着。KL 能与 FDFO 同用,结果在附录,正文没给加上 KL 之后还快多少。多样性怎么留是开问题,文中建议用 VLM 直接奖励多样性。
中间步的差分能传到成图,只在期望意义下讲得通,反例存在。γ 取 0.0025,以及流大体不打转,没有换时间表或分辨率再验。
数字对照基本只有 Flow-GRPO。DanceGRPO、DDPO、Diffusion-DPO,还有 ReFL、DRaFT,都没有同设置分数。19 倍里含有实现开销。人类实验只有一位标注者,没有 OneIG 或 HPSv2。网格图是手选的严重帧。只做了 SD 3.5 Medium、512 分辨率和 LoRA。换奖励或换底模之后差距还在不在,没有验证。