arXiv 论文:可验证视觉奖励让 SD3.5 指令遵循从 2.8% 升至 28.3%
testingcatalog · x · 2026-09-29
Shuyue Stella Li、Xiaochuang Han、Yulia Tsvetkov、Luke Zettlemoyer 发布 arXiv 论文《Verifiable Visual Rewards Transfer from Synthetic Scenes to Natural Prompts》。
- 问题:图像生成的精确指令遵循(物体数量、空间关系)仍是开放难题,部分原因是训练依赖不可靠的奖励模型(物体检测器、VLM)
- 方法:VVR 是首个可编程验证的图像奖励框架——每个任务是一组几何物体及其关系,prompt 与确定性验证器自动生成,可无限扩展任意复杂度
- 数据:发布 VVRBench(10,000 任务、32 类约束)与 VVRBench-Challenge(720 个更难任务);最强的 GPT-Image-2.5 仅解出 21.4%
- 结果:RLVVR 将 Stable Diffusion 3.5 Medium 在 VVRBench 上的准确率从 2.8% 提至 28.3%,并有一致的易到难泛化与域外迁移;把 VVR 混入现有目标进一步提升整体性能与人类偏好,作者主张将其纳入标准图像后训练流程
论文 33 页,代码与 benchmark 均已开源。
所属事件:VVR可验证视觉奖励大幅提升图像生成指令遵循(3 条相关)→
「多模态」频道最新
- Qwen 图像 2.1 与 Minimax H3 实测:老照片修复与写实化转换 — Ant_6431 · 2026-11-16
- Minimax H3 视频生成演示:Cubee 店面镜头第二版 — JahJedi · 2026-11-16
- 不会画画的开发者用 Fable 5.2 四小时做出 14 章手绘风故事书游戏 — jradoff · 2026-11-16
- Minimax H3 Image 训练人物 LoRA 相似度差,同数据集在 Qwen 2.1 上表现优异 — Ad_Organic · 2026-11-16
- Seedance 生成地铁车厢动画片段,光影细节惊到 Reddit 网友 — Ok-Solution-7889 · 2026-11-16
- 推主用 AI 重制 1977 版《黑衣人》风格画面 — techhalla · 2026-11-16