UMM-Reflection 开源：交错强化学习让统一模型学会自我修正图像
ziqi_huang_ · x · 2026-09-29
Ziqi Huang 等人开源 UMM-Reflection，提出用交错强化学习（interleaved RL）教统一多模态模型原生地「生成—反思—重画」：模型先诊断自己图像的错误，再修订重绘，反思文本与图像生成在同一模型内被联合训练。
方法要点
- 对完整反思轨迹做 RL：兄弟轨迹共享同一张初始图，用组内相对优势比较不同反思策略；轨迹级优势同时更新反思 token 和基于 flow 的修订模块，避免逐轮 credit assignment 的组合爆炸。
- 信用跨轮次、跨同一模型的两个角色流动，且推理时无需外部验证器（verifier）。
- SFT 冷启动只能拿到普通修复路径，无法找到高成功率的反思策略，RL 是关键增量。
成绩：在 BAGEL 上 GenEval 从 SFT 提升 12.05 个点（0.71 → 0.84），且泛化到未参与训练的 WISE（+10.97）、OneIG-Bench（+3.48）、T2I-CompBench++（+4.63）。
论文、代码、模型与 demo 均已开源放出。
所属事件:UMM-Reflection 开源，交错强化学习让多模态模型自我修正图像(3 条相关)→
「研究」频道最新
- ThinkyMachines 训练开源模型用约 40 token 直接修复损坏网络权重 — SonglinYang4 · 2026-11-14
- 哈佛 MIT 团队推出 UGG:单一扩散模型统一视频生成与 3D 几何理解 — burny_tech · 2026-11-14
- Hugging Face 推出 Decision Models:不生成文本直接输出决策概率分布 — ariG23498 · 2026-11-14
- 可计算拓扑学新结果:计算数学结构被压缩为定理 A 与 B 两个 — jessi_cata · 2026-11-14
- BAAI 开源无编码器 VLM 系列 EVE,登 NeurIPS 与 ICCV 获 spotlight/highlight — liuziwei7 · 2026-11-14
- 《递归模型坍缩》：模型如何在自我投喂中变成乖顺助手 — sebkrier · 2026-11-14