YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction
Shengyu Wang, Tengyue Nong, Junming Liu, Haosong Peng, Siyu Li, Ruiqi Lei, Fushuo Huo, Yuhao Pan, Yunfeng Fan, Ding Wang, Nan Cheng, Haozhao Wang, Wenchao Xu
cs.CV
2026-11-04
YANAMI收录40.3万条必须跨轮记账的多模态对话,微调BAGEL后Bench总分从65.02升到78.25。
统一多模态模型(UMM,同一套参数里同时做看图、出图和改图)的公开数据大多是单轮的。近两年的顺序编辑和交错图文对话里,不少轮次只要把历史图像直接贴进输入,就能改写成普通单轮任务。模型不必记住「不许再加配饰」,也不必处理用户刚改口的要求。
人实际修图会来回改主意、加约束、指着前面某张图说话。助手得维持一份当前仍有效的对话状态,再画出来。YANAMI(Your Assistant Needs to Assimilate Multiturn Interaction)补的就是这份跨轮监督和评测。工作由港科大牵头。
底图来自 Zebra-CoT、WEAVE、MICO-150k、MACRO 四个公开集。GPT-5.6 Sol、Qwen3.7-Plus 和 Gemini 3.1 Pro 做粗筛,严重损坏或内容认不出才丢弃;能修的图交给 GPT-Image-2 和 Nano Banana 2 重画后再检。过筛后按场景分池,用场景提示和能力提示写成多轮对话,自动检查逻辑与图文是否一致,失败则修改或重生成。
四个场景的状态演化不一样。Multi-Image Fusion 按历史合成多张参考图。Image Editing 在旧修改上接着改,已改内容默认留着。World Modeling 换视角或动作,几何和物体关系还得成立。Visual Reasoning 按假设逐步改画面,并回答计数和约束。
六种状态能力写进对话:指代消解、历史检索、跨轮一致、空间与物理一致、约束遵守、按纠正更新状态。402,639 段训练对话每段至少覆盖四种。门槛是显式状态管理,目标轮次不能靠补历史图改写成单轮。按论文里的对照表,WEAVE 和 ChatUMM 过不了。
YANAMI-Bench 共 400 段、1,883 张图,四场景各 100 段。与训练集做过图像 SHA-256 比对,没有完全相同的图。每段由三名理工科研究生背景的标注员核过。Dialogue State Understanding(DSU,对话状态理解)用四类问答测指代、检索、仍有效约束和纠正更新,合计 1,600 题。视觉侧 Visual Quality 打 0 到 10 的观感;State Consistency 把仍有效状态拆成原子检查,全基准 8,467 条,满足才得分。
会理解和生成的模型按 4:4:2 给 DSU、状态一致性、视觉质量加权;只会画的模型按 6:4 给后两项加权。GT-History 把先前生成图换成标准答案图。Self-History 放回模型自己的图。
开源 UMM 里总分最高的是 34B 的 Emu3.5,67.41;开源编辑模型里最高的是 FLUX.2,67.30。闭源 GPT-Image-2 和 Nano Banana 2 为 83.05、80.93。多数模型最弱的一栏是 Visual Reasoning。开源 UMM 里 Show-o2 只有 39.29。
7B 的 BAGEL 微调前总分 65.02,在 YANAMI-400K 上微调后为 78.25,绝对增加 13.23。Bench 与训练集没有相同图像,这分不是同一张图的记忆。四场景由 62.44、67.40、68.16、62.06 升至 78.98、84.96、73.26、75.80。推理栏到 75.80 之后,世界建模 73.26 变成最低项。DSU 平均从 81.44 升到 95.69,编辑场景的理解分从 76.50 升到 98.00。
| 方法 | 指标 | 结果 |
| BAGEL → +YANAMI | YANAMI-Bench 总分 | 65.02 → 78.25 |
| BAGEL → +YANAMI | DSU 平均 | 81.44 → 95.69 |
| BAGEL → +YANAMI | GenEval 总分 | 0.73 → 0.75 |
| BAGEL → +YANAMI | GEdit-EN-full | 提升 10.28% |
| Emu3.5 / FLUX.2 / GPT-Image-2 | Bench 总分 | 67.41 / 67.30 / 83.05 |
POPE 从 86.5 到 87.4,MMBench 从 85.0 到 89.1,MME-P 从 1647.9 降到 1616.9。GenEval 计数 0.70 到 0.73,位置 0.47 到 0.52,属性绑定 0.49 到 0.55,单物体和颜色各掉 0.01。论文将 GenEval 总分 0.73 到 0.75 记为提升 2%。
状态答对了,图仍会画漏。九个 UMM 全都答对的约束题有 78 道、纠正题有 71 道;对齐生成检查后,共享子集剩 77 段和 66 段。这批题上的视觉兑现仍明显低于满分。GT-History 已经切断误差传播,BAGEL、FLUX.2、InternVL-U 的末轮相对首轮仍下降 2%、6%、6%。Self-History 下,BAGEL 和 Qwen-Edit 比 GT-History 再低 5.16% 和 3.77%。
评判模型是 Qwen-3.8-Flash-Next。四名标注员对微调后的 BAGEL、Emu3.5、Nano Banana 2 各抽 100 条,与人工评分的 Pearson 相关均超过 0.80,与 GPT-5.6 Sol 的交叉相关同样高。
78.25 仍低于 GPT-Image-2 的 83.05。闭源总分按 6:4 只看图,UMM 按 4:4:2 计入理解分,两列数字不能横比名次。
多轮修图、多图合成和连续视角生成,卡在约束过几轮之后还算不算数。YANAMI-400K 有 2,047,236 张图、2,643,291 个轮次,平均每段 6.56 轮、5.08 张图,最长 43 轮。训练比例是融合 36%、编辑 25%、世界建模 28%、视觉推理 11%。Bench 各 100 段,方便按场景比。
已有 UMM 可以直接拿来微调,架构保持不动。附录里的 BAGEL-7B-MoT 设置是冻结 VAE,训练语言模型、视觉编码器和解题用的理解模块,学习率 1e-5,交叉熵权重 0.25,生成侧 MSE 权重 1.0,最长 16,384 token。编辑涨幅大于生成涨幅,和数据里持续改图、守住旧约束的占比同向。
只用标准答案图当历史,会高估连续生成时的稳定性。
对话文本和大量图像由前沿模型生产。GPT-Image-2、Nano Banana 2 同时担任数据画师和闭源对照。涨分里有多少来自模仿这两家的编辑习惯,论文没有分开测。人工逐条核验只做了 400 段 Bench。约 40 万段训练集靠自动检查,隐蔽的状态错误会进梯度。SHA-256 只排除完全相同的图,近重复仍可能漏进 Bench。
Self-History 只给出 BAGEL 与 Qwen-Edit 的跌幅,其他模型缺少同样的连续生成数字。理解与兑现的差距,主文说明了共享子集怎么抽,逐模型数值放在附录,正文的图是定性的。
GPT-Image-2 有 4 条请求被内容策略拒绝,分数算在 948 条有效输出上;Nano Banana 2 算在 939 条上。缺失不记零分,闭源均分只统计留下来的输出。
视觉推理只占训练的 11%,Bench 上多数基线在这一栏最低。微调后该栏从 62.06 到 75.80,监督仍比融合场景薄。MME-P 下降 31 分,理解侧在涨的是 POPE 和 MMBench。