Arena 详解文生图后训练:500 万人类偏好票+VLM 自动 rubric 奖励
arena · x · 2026-10-02
Arena 发布博客详解其文生图模型后训练方法:在约 500 万对人类偏好投票上训练奖励模型,并用视觉语言模型自动构建 rubric,评估图像是否遵循 prompt、满足约束、避免已知 reward-hacking 行为。核心问题是「优化什么奖励」:仅靠人类偏好不够,图像可能好看却漏对象、加未要求内容或风格漂移。
结果:后训练 FLUX.2-dev 在 Arena 实时 T2I 榜单涨 69 分升至第二;后训练 Ideogram 4 得 1224 分,超越所有已列公开开源模型。博客还包含 rubric 奖励的构建方式、完整离线评估设置,以及捕获到的 reward-hacking 失败模式的前后视觉对比。
所属事件:Arena 组合偏好与评分表奖励后训练,FLUX.2-dev 涨 69 Elo(3 条相关)→
「多模态」频道最新
- Gemini 4 Neon(xhigh)实测:一张提示词画出 Ana de Armas 风格 SVG — lyraxana · 2026-11-19
- Scobleizer 对话 AI 虚拟偶像 NOVA,或为首个人类×AI 明星访谈 — Scobleizer · 2026-11-19
- Electric Sheep 系列新作 Infinidream 0.17.2 发布,支持 1080p — scott_draves · 2026-11-19
- 一张图塞 5 个 LoRA 角色:四方案实测,最好也只有 3/5 正确 — PoleRacers · 2026-11-19
- AI 生成「机器人神父」低垂双手祈祷,教堂场景以假乱真 — MrWoohoo · 2026-11-19
- AI 复刻 80 年代手绘动画风格短片《守门人》第一集 — oultimobuilder · 2026-11-19