Arena 用偏好+评分表组合奖励后训练 FLUX.2-dev 涨 69 Elo
arena · x · 2026-10-02
Arena 团队发布文生图模型后训练新方法:人类偏好奖励必要但不充分,偏好模型仍会奖励看似漂亮却漏细节、加无关内容或 reward-hacking 的输出。其复合奖励包括:
- 基于 560 万对人类投票训练的 Bradley-Terry 奖励模型
- 由 VLM 依据自动生成 checklist 评估的忠实度奖励
- 覆盖显式与隐式用户意图的约束奖励
- 针对乱码文字、照片真实感漂移等失败模式的反 reward-hacking rubric 奖励
效果:后训练 FLUX.2-dev 在其 T2I 实时榜涨 69 Elo 达 1202;Ideogram 4 涨 20 Elo 至 1224,超越所有已列公开开源模型。离线消融(Gemini 3.5 Flash 当裁判)显示各奖励组件互补,偏好之上加忠实度和约束奖励后对基础模型胜率达 64.2%,再把有无反 reward-hacking 目标的策略在权重空间集成后升至 66.0%。
所属事件:Arena 组合偏好与评分表奖励后训练,FLUX.2-dev 涨 69 Elo(3 条相关)→
「多模态」频道最新
- AI 视频让蒙娜丽莎、梵高、达利跨世纪同框,网友直呼离谱 — sebpaquet · 2026-11-19
- Seedance 2.5 整段生成「恶人有恶鬼治」短片,AI 视频叙事感渐浓 — anthara_ai · 2026-11-19
- Kling Image 4.0 登 Artificial Analysis 榜单第七,唯一支持原生 8K 输出 — anthara_ai · 2026-11-19
- 作者发布 Claude 插件教程揭秘 slopcore 视频制作流程 — AIandDesign · 2026-11-19
- Blender Bench:三大实验室模型真实 Blender 里拼 3D 场景,百人盲评 — Gruku · 2026-11-19
- Core Memory 专访 AI 恶搞视频幕后推手 Ari Kuschnir — kyliebytes · 2026-11-19