Think Before You Score: Thinking Reward Model for Visual Generation
Xuehai Bai, Zhenchen Tang, Yang Shi, Dianyi Wang, Tengfei Liu, Wanshun Su, Xuanyu Zhu, Ruohui Wang, Haiwen Diao, Haotian Wang, Xiaoling Gu, Yuanxing Zhang
cs.CV
2026-09-29
TRM按案例写细则再打分。9B GenAI-T2I达71.2%，超GPT-4.1的60.5%，作奖励能RL提升生成编辑。
视觉生成做强化学习后训练，奖励模型要把「这张图像不像人想要的」压成可优化的数。主流做法是把任务条件和候选图直接映射成标量分或成对偏好，ImageReward、UnifiedReward、EditScore 都走这条路。评估过程藏在映射里：这条 prompt 该查物体计数还是文字渲染，这张编辑图哪里不该动，模型自己不说。
近期有工作在打分前加推理，RationalRewards、EditScore 会先写一段分析。但视觉评估高度依赖案例。生成要查物体关系、畸形和文字；编辑还要查身份保持和误改。同一任务里，案例不同，该查的条目也不同。固定清单会漏，直接打分把「该评什么」留给隐式特征。缺口很具体：对这一例，到底该评什么。
TRM 把评估做成「先定评什么，再评好不好」。流程是 R → J → H → s：先生成案例级 rubric（针对这一例现写的原子检查项），对每条做 Yes/No，再按维度汇总理由，最后给一个点分。生成和编辑共用 Prompt Alignment 和 Technical Quality；第三维生成用 Aesthetics，编辑用 Source Consistency，即未要求改的内容是否保住。高维框架固定，细则按当前条件和候选图现写，像阅卷前先按这道题列采分点。
训练分两段。数据约 2 万条生成、2.8 万条编辑。Gemini 起草细则、专家审可验证性，再用细则出判断和分数并校准。SFT 一次混训三种格式：只写细则、给定细则打分、整段评估。基座 Qwen3.5-9B，LoRA，视觉塔冻结。
SFT 之后再用约 4000 对偏好对做强化学习。直接拿 Bradley-Terry 优化点分会把分数推向两端：分差越大奖励越高，正确排序之后这个目标仍会逼着分差继续变大。PD-GRPO 对赢、输两组各采 8 条独立点分评估，赢组分数高于对方组均值加间隔 m 才给 1，否则 0，输组对称。间隔一旦满足，再拉大分差没有额外好处。策略更新把 16 条响应合成一组算相对优势。推理时仍是单图打点分。编辑 m=0，生成 m=0.05。
图像生成奖励建模，在非平局对上的偏好准确率：
| 方法 | GenAI-T2I | MMRB2-T2I |
| TRM (RL) 9B | 71.2 | 67.9 |
| TRM (SFT) 9B | 70.1 | 65.8 |
| Qwen3.5-9B 点分基线 | 58.9 | 59.4 |
| GPT-4.1 | 60.5 | 65.8 |
| Gemini 3 Pro | 73.1 | 74.4 |
| HPSv3 7B | 70.8 | 60.2 |
9B TRM 超过评过的开源专用奖励模型和 GPT-4.1，仍低于 Gemini 3 Pro。相对 SFT，PD-GRPO 再加 1.1 和 2.1 个点。点分基线平局率 40.9%/56.6%，TRM 降到 12.2%/20.7%；平局记 0.5 分时 TRM (RL) 为 68.4%/63.9%。
编辑侧 TRM (RL) 在 EditScore-ERB 上指令跟随、视觉一致性、总分为 0.786、0.674、0.773，点分基线 0.440、0.308、0.401，72B EditScore 为 0.635、0.586、0.703。MMRB2 从 30.9% 到 58.2%。Gemini 3.1 Pro 仍明显更高。
下游把 TRM 当 Flow-GRPO 的唯一奖励。BAGEL 的 GenEval 从 0.86 到 0.89，TIIF-Long 从 75.62 到 81.43；FLUX.1-dev 的 TIIF-Short 从 70.84 到 77.60。编辑上 BAGEL 的 ImgEdit 从 3.37 到 3.91；SenseNova-U1.5 从 4.30 到 4.52。同一 BAGEL 上对照 AlphaGRPO，TIIF-Short 为 80.68 对 77.70。同一 SenseNova 上对照 72B EditScore，TRM 9B 的 ImgEdit 为 4.52 对 4.51；训练 300 步时组内奖励标准差只降 14.9%，EditScore-72B 降了 50.5%。
给做视觉 RL 的人一个可复用的开源 9B 点分奖励：线上接口是单图分数，训练却吃了成对偏好。细则写在输出里，比纯标量好排查。和 72B EditScore 打到同一量级、参数约八分之一，更适合在线 RL 里反复打分。
方法本身是渐进的。rubric 加推理打分这条线已经有人在走，TRM 把「细则按案例生成」做成生成和编辑共用的流程，并用 PD-GRPO 修分数极化。示意图里画了视频和世界模型，实验没有。
正文没有独立的局限节。实验停在图像生成和编辑。闭源顶端 Gemini 3 Pro / 3.1 Pro 在多数奖励建模指标上仍明显更高。标注依赖 Gemini 教师加专家校准，分数可能带着教师口味；生成任务里他们自己也写，单教师分差不够，又加了其他评估器校准。视觉塔全程冻结，细则能写「手指融合」，视觉编码器本身没有被奖励训练更新。
Table 2 主指标丢掉了预测平局。基线平局过半，只在严格排序的子集上算准确率，数字会好看一截。下游 RL 没有用 GPT-4.1 或 Gemini 当奖励的对照，更好的奖励建模变成更好的生成，目前只在开源奖励之间成立。SenseNova-U1.5 与部分作者同机构，这项增益要打折看。MLLM 奖励的推理成本他们用异步打分和前缀缓存压过，论文没给相对回归式奖励模型的墙钟数字。