IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation
Shaohan Yu, Jie Qin, Wende Tan, Haiwen Diao, Limeng Qiao, Yueming Lyu, Chenyang Si
cs.CV
2026-10-28
构建 10 万条真实交错图文样本与七维评测套件;只训图像生成的 RL 也能拉高交错总分,U1 以 73.81 分居开源第一。
统一多模态模型(UMM,一个模型同时做理解和文字、图像生成)已经能写文配图,但图文交错输出一直被当成模型统一的副产品:教程要逐步配图,百科要图文互证,故事要边叙边画,此前没有工作把它当成独立的生成任务认真对待。
卡点有两个。数据侧,MMC4、OBELICS、OmniCorpus 这些大规模交错数据集是为多模态理解收集的,缺面向生成的质量控制;CoMM 补了生成导向过滤,但没有按真实场景组织任务空间。评测侧,现有 benchmark 主要靠 VLM 给长回答打一个整体分,量不出模型弱在哪一维。
两部分共享一个设计起点:按文字与图片的协作方式划出四类场景,Planning(26.1%)、Knowledge(21.2%)、Tutorial(34.7%)、Story(18.0%)。
数据集 IntReal-100K 从网页和视频两类天然交错内容里取材,七个源:Wikivoyage、Wikitravel、Wikipedia、下厨房,加《好奇的乔治》等三部动画剧集。清洗管线按成本从低到高分四步:
百万级原始池只留约 10%,长序列里任何一段有缺陷,整条作废。成品是 10 万条样本、53.8 万张图、1.47 亿文本 token。
评测套件从数据集里严筛 600 条(每类 150 条),分两个粒度:整体生成让模型从头产出完整交错回答;细粒度生成让所有模型在同一段真实上下文之后生成下一张图,比较因此可控。七个指标各配专职评测器:文字丰富度、文字逻辑性由 LLM 判,图像美观度交给 IQA 模型,图像多样性、主体一致性算 DINO 特征相似度,数量合规做精确匹配,上下文保真度靠视觉评分细则(rubric),VLM 只看前文推出这张图该画什么,再逐条核对生成图。
指标先自证:七个指标两两样本级 Spearman 相关绝对值不超过 0.42,冗余低;与人类专家判断一致率 83.3%(750 组对比);把评测器从 Gemma4 换成 Qwen3.6-35B-A3B,模型排名相关系数仍超过 0.9。
| 模型 | 均分 | 关键数字 |
| Emu3.5 | 58.95 | 文字逻辑性 75.17 为开源最佳,数量合规仅 39.70 |
| U1-A3B-MoT | 69.43 | 上下文保真度 86.81 |
| U1-8B-MoT 基线 | 71.88 | 数量合规 95.33 |
| U1-8B-MoT+SFT | 72.31 | 文字丰富度 +29.04%,图像美观度 -5.65% |
| U1-8B-MoT+SFT+RL | 73.81 | 开源最高,图像多样性 +5.60% |
| NanoBanana2(闭源 API) | 84.84 | 领先开源最佳 14.94% |
表格里有两个硬结论。NanoBanana2 的文字丰富度比开源最佳高 222.33%,图像多样性(-10.45%)和上下文保真度(-12.13%)却低于开源最佳。单模态强,撑不起交错生成。SFT 暴露了另一面:在 IntReal-100K 上做 SFT,文字全面变好,图像变差(美观度 -5.65%、保真度 -4.89%),是 UMM 里理解与生成的老冲突。随后用 Flow-GRPO 对下一图生成做 RL,Bagel 混用 IQA、DINO、rubric 三种奖励,U1 只用美学奖励,图像维度的退化基本拉回,图像多样性还涨了 5.60%,U1 均分 73.81 升到开源第一。只优化图像生成就提升了整体交错能力,不必每个阶段都做图文联合训练。
分类别看,Tutorial 在细粒度评测里最难,上下文保真度和主体一致性都偏低;Story 序列最长(约 8.7 图/条),数量合规和图像多样性吃亏。开源与闭源差距最大的是文字模态,图像模态差距小得多。
做 UMM 的团队可以直接拿走三样东西:10 万条真实交错 SFT 数据、一套七维诊断协议、一组验证过能当 RL 奖励的指标。单模态优化能迁移到交错生成,把后训练选项从联合 SFT 扩到分模态优化,对缓解图文冲突有直接参考价值。定上下文的下一图生成设置,也让模型间的比较变得可控。
作者自认两点:激进过滤使留存率只有约 10%,构建成本高;没做单模态数据混合后训练,合成数据增强留作未来工作。
另有几处要打折扣。Text Logicality 是二元判断,换评测器波动最大,NanoBanana2 在 Gemma4 和 Qwen3.6 下差了 12.71 分,该维度的绝对值不稳。评测集只有 600 条,作者的理由是每个模型要生成 6000 多张图、再扩成本不划算,但支撑七维结论的统计功效有限。参评只有四家,Anole、Show-o2 因上下文长度不够被排除。数据源偏窄:教程全部来自下厨房(做菜),故事来自三部低分辨率老动画,撑不起 IntReal 这个名字暗示的场景广度。Subject Consistency 只在 Tutorial 和 Story 上计算。