Verifiable Visual Rewards Transfer from Synthetic Scenes to Natural Prompts
Shuyue Stella Li, Xiaochuang Han, Yulia Tsvetkov, Luke Zettlemoyer
cs.AI, cs.CV
2026-09-29
华盛顿大学用像素程序检查几何约束当文生图奖励。SD3.5 Medium在一万题VVRBench上从2.8%升到28.3%,计数与位置技能迁到自然提示。
语言模型可以用代码检查「某个词至少出现三次」这类约束,再拿检查结果当强化学习奖励。图像生成一直缺对等物。给模型「三个红圆在两个蓝方左边」,它经常画错数量、颜色或位置,要求叠得越多越容易崩。
后训练奖励几乎全是学来的:偏好模型、拿图问答的视觉语言模型,还有目标检测器。这些评判器在计数和空间关系上会判错,策略会去钻空子。华盛顿大学补的是一套不经过检测器、OCR、embedding 或 VLM、直接对像素跑 Python 函数的可验证视觉奖励 Verifiable Visual Rewards(VVR)。
一条 VVR 任务同时给出自然语言提示和一份形式化约束。画面只有彩色几何体:8 种颜色,圆、方、三角三种形状。约束分五族,覆盖颜色形状绑定、数量倍比、区域位置、相对大小,以及接触、包含等拓扑。库里 46 种类型,主榜用 32 种。
生成是场景先行:
视觉约束跟文本约束不一样,两两可满足的三条合在一起可能矛盾(「A 包含 B,B 包含 C,C 包含 A」),所以必须先有合法场景再摘约束。结构复杂度 C(s) 按每条约束覆盖的物体数加权,用来卡从易到难的分布。
验证器不看参考图:固定色相切颜色 mask,连通域当物体,长宽比和凸性判形状,再按颜色加形状匹配到组。每条约束给出 0/1 判定和 0 到 1 的部分分。评测准确率是判定乘积,全过才算对;训练用加权部分分再乘惩罚项 ψ,避免只学一条简单约束。
用 Flow-GRPO(给流匹配模型的在线策略梯度)把 VVR 分数当奖励,在 Stable Diffusion 3.5 Medium 上做强化学习,称为 RLVVR。训练语料两份,各 10 万题、与评测去重:VVR-Easy 复杂度不超过 20 且最多一个约束族;VVR-Matched 对齐 VVRBench 分布。
评测三档:VVRBench 1 万题(复杂度 3 到 48,切成 C1 至 C5);Fast 820 题均匀子集;Challenge 720 题(45 到 80,再加 14 种组级约束)。
| 模型 | VVRBench | Challenge |
| GPT-Image-2 | 86.86% | 10.28% |
| GPT-Image-2.5-Sunburst | Fast 上 84.51% | 21.39% |
| FLUX.2-dev(开源最强) | 19.15% | 未报告 |
| SD3.5 Medium 预训练 | 2.81% | 未报告 |
GPT-Image-2 从 C1 的 97.65% 掉到 C5 的 65.72%。FLUX.2-dev 在 C5 只剩 2.24%。Challenge 上 GPT-Image-2.5 从 45 至 56 档的 31.67% 掉到 69 至 80 档的 7.92%,其余最高 7.36%(Gemini-3.1-Flash-Lite-Image)。失败集中在跨组计数和拓扑:same count 通过率 31%,times as many 33%,each contains 34%;Grounding 平均约 95%,Topology 约 56%。Gemini 系列偶尔拒答,称指令不可满足,但每道题都可满足。
| 训练数据 | VVRBench | C3 / C4 / C5 |
| 预训练 SD3.5-M | 2.81% | 未单列 |
| VVR-Easy | 28.27% | 相对预训练 +17.16 / +8.31 / +1.35 |
| VVR-Matched | 46.60% | 45.62% / 38.39% / 21.82% |
C3 至 C5 全部难于 Easy 里任何一道训练题。Easy 在计数、关系的单条部分分上,分别补上预训练到 Matched 差距的 79% 和 64%;同一张图里所有计数或所有关系都对,只补上 55% 和 46%。单条约束靠简单题就能稳住,把许多约束同时画对要靠大场景。
只在彩色几何体上训过的 Easy,十项非 VVR 指标里八项高于预训练:GenEval 从 0.616 到 0.729,OCR 从 0.476 到 0.587。160 条域外自然提示上,人对 Easy 相对预训练胜率 71.6%。跟只拿 GenEval2 训的模型比,Easy 的 GenEval 为 0.729 对 0.688,涨分来自位置 +0.150、计数 +0.103、颜色绑定 +0.025。跟 GenEval2 混训后十项非 VVR 指标全涨,人对混合物相对纯 GenEval2 胜率 58.6%。混进 OCR 或五奖励目标时,原生 OCR 分别掉 0.021 和 0.030,原目标分到的 prompt 变少了。
验证器决策边界来自 3947 条人类判定。发布版与 508 条标签中的 481 条一致,94.7%,κ 为 0.89。
图像后训练缺能用代码判对错的奖励。VVR 把 IFEval 和 RLVR 的思路搬到像素上,题可以按复杂度无限造,也能混进 GenEval2、OCR、PickScore。代码、数据和 checkpoint 已公开。
它针对计数、位置、包含这类硬约束,不是审美。单独训 Easy 时 HPSv2.1 从 0.300 降到 0.294,aesthetic 从 5.517 降到 5.483,示例里花瓶被画成没有阴影的扁形状;混上 GenEval2 之后阴影会回来。当标准配方里的一项,比当唯一奖励更合适。
开源模型在主榜上普遍低于 20%。GPT-Image-2.5 在 Challenge 上只有 21.39%。这套题本身就能当能力探针。
作者写明:只有 8 色、3 种形状和平背景,还停在二维几何,没做三维、图像编辑或视频;强化学习只跑了 SD3.5-M 加 Flow-GRPO,没有先做监督微调或 DPO。验证器对模糊、粘连、压缩做过测试,真实照片纹理一上来像素规则会不会误杀,这篇没有证据。
迁移数字要打折。GenEval 的位置和计数涨分,评测本身靠近 VVR 训过的技能;审美指标是掉的。人对 160 条自然提示的 71.6% 胜率没有拆开「跟指令更紧」和「更好看」。Challenge 每档 20 题、共 720 题,拉开了 GPT-Image-2.5 和 GPT-Image-2(21.39% 对 10.28%),误差条不窄。