最强多参考图生成模型属性绑定仍只有 0.80 分,上交大 TRACE-Bench 拆出四个原子算子定位瓶颈

TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation

Haoran Wang, Chaofan Ma, Ran Yi, Lizhuang Ma

cs.CV, cs.AI

2026-08-18

把多参考图生成拆成锚定/解耦/绑定/组合四个原子算子,构建 1600 案例评测集测 9 个模型:最强的 Nano Banana 2 属性绑定也只到 0.80,场景组合却已到 0.91,瓶颈清晰定位在解耦与绑定。

这篇在解决什么

给多张参考图、生成一张组合图的场景正在变多:把 A 图的人物、B 图的上衣、C 图的背景风格拼进同一张图。各家模型(OpenAI 的 GPT-Image、Google 的 Nano Banana 系列、阿里的 Qwen-Image-Edit)都在卷这个能力,但评测方式跟不上。现有 benchmark 按预设任务类型组织,「主体组合」「风格迁移」各出一摊,覆盖零碎;同一种任务里有的案例牵扯 2 张参考图、有的牵扯 5 张,复杂度完全不受控;总分式的打分只告诉你这模型行不行,不告诉你它死在哪一步。

上海交大的做法是换一个视角:不看任务类型,看操作。任何多参考图的 prompt,不管多花哨,都可以拆成四个原子算子的组合公式。

方法

四个算子的定义:

• Anchor(锚定,f):在参考图里锁定一个实体,把它的身份信息(长相、形态)带进生成图。
• Disentangle(解耦,g):从参考图里抽取某个属性,并与无关性质剥离,只拿那件衣服的款式,不带走穿它的人。
• Apply(绑定,⊕):把解耦出来的属性绑到指定载体上,载体可以是另一张图锚定的实体,也可以是文字描述的实体。
• Compose(组合,C):把多个实体和关系约束排成一个连贯场景。

一条 prompt 于是成了一个公式,比如「把 1 号图的人物穿上 2 号图的裙子、站在 3 号图的背景里」写成 C(f₁, Te⊕g₁)⊕gglobal。公式的结构复杂度用槽位数(slot)量化,数 f 和 g 出现的次数,TRACE-Bench 覆盖 1 到 8 槽。

基于这套形式化,他们构建了 benchmark:从 Danbooru、LAION、cc12m 里筛出约 5 万候选图,经 Gemini-2.5-Pro 结构化打标、均衡采样、人工质检后留下 3,839 张,再用 Nano Banana Pro 合成约 200 张补稀有 case;prompt 由 VLM 按公式模板生成,先过 GPT-5.4 过滤(剔除 4.3%),再人工复审(剔除 9%)。最终 631 个公式模板、约 1600 个案例,每个槽位级 180 例。

评测也按算子对齐:每个算子配一套二元判分问题(VLM judge 用 Gemini-2.5-Pro),Anchor 查实体存在与一致性,Disentangle 查属性来源正确,Apply 查绑定对没绑错人,Compose 查场景连贯、无重复无泄漏。这样每个模型拿到四张能力分,而不是一个总分。

最有设计感的是诊断树:把一个失败案例递归拆成更简单的子案例(去掉全局参考项、把场景拆成单实体、拆开多属性绑定),在每个节点重新生成打分,看它在哪一步从失败变成通过,失败源头就定位在那个被移除的组件上。

结果

9 个模型(4 个闭源:GPT-Image-1.5、Nano Banana、Nano Banana Pro、Nano Banana 2;5 个开源:Emu3.5、FireRed Image Edit 1.1、Qwen-Image-Edit-2509/2511、OmniGen2)的四项得分:

三个结论:

• 组合 C 明显最强,GPT-Image-1.5 达 0.9259;解耦 g 和绑定 ⊕ 全面偏低,最强的 Nano Banana 2 也分别只有 0.7384 和 0.7989。摘要里那句「最好的模型属性保真度只有 0.74」指的就是解耦这一项。瓶颈不在把东西摆进画面,在把对的属性从对的参考图里拿出来、绑到对的载体上。
• 开源与闭源差距集中在 g 和 ⊕:Emu3.5 是开源里最好的(平均 0.6561),但解耦 0.4982、绑定 0.5434,和闭源头部的 0.73/0.80 差得远;组合项反而只差 0.13 左右。Qwen-Image-Edit-2511 在四项上全面优于 2509 版。
• 诊断树(200 个 Emu3.5 案例)显示,实体级失败的主因是「联合组合干扰」:单独测各参考项都通过,多个参考条件合在一起就丢(f/g/⊕ 上分别占 48.8%/43.4%/41.1%);而组合 C 的失败最常定位到全局参考干扰(29.0%),全局风格约束是场景崩坏的常见源头。

另一个反直觉发现:锚定能力对槽位数不敏感,对参考图里的实体数量敏感。图越挤,锚定越容易丢。这说明公式复杂度不等于难度,参考图自身的杂乱程度是更直接的难度来源。

为什么重要

对做图像生成的人来说,这份 benchmark 给了一个能定位问题的坐标系统。之前发现「多参考图生成不行」,下一步只能换模型重试;现在能看出是解耦还是绑定在漏,配合诊断树还能区分「单独就不会」和「合在一起才崩」,改进方向完全不同,前者要补单能力,后者要处理参考条件之间的干扰。虚拟试穿、多人合照排版这类应用,论文也演示了如何套进同一套公式表达。

对选型的人,这张表可以直接用:闭源头部三家平均分挤在 0.81 到 0.82 之间,差距不大;开源里 Emu3.5 和 Qwen-Image-Edit-2511 领先,但在属性级的活上都还不能打。

局限与存疑

论文没有单独的 limitations 章节,以下几条是读下来的判断:

• 判分全靠 Gemini-2.5-Pro 当 VLM judge,二元打分。judge 自身的偏差(对某些视觉模式系统性误判)会直接进到四个算子的分数里,论文没有对 judge 做人工校验的系统性报告。
• 参考图约 3,839 张来自 Danbooru、LAION 等公开集,动漫与插画占比不低,真实世界照片的覆盖靠 cc12m 子集撑着。分数对图像域的敏感性没有单独拆出来分析。
• 约 200 张合成参考图来自 Nano Banana Pro,而 Nano Banana 系列本身就是被测模型,训练数据与被测模型的潜在重叠没有被讨论。
• 「槽位数只是公式结构复杂度,不完全决定难度」是作者自己承认的,锚定对实体数敏感的发现也佐证了这一点,但 benchmark 的分层控制只按槽位做了均衡。

术语

• 多参考图生成:给多张参考图加一段文字指令,生成一张把这些参考内容组合起来的新图。
• 属性绑定:把某个属性(颜色、材质、款式)正确地绑到指定对象上,不串到别的对象。
• 算子槽位(slot):公式里锚定与解耦算子出现的总次数,用来量化一条 prompt 的结构复杂度。
• 诊断树:把失败案例递归拆成简化子案例逐节点打分,以此定位失败源头的方法。
• VLM judge:用视觉语言模型按问题清单对生成图打二元分,替代人工评分。

原文与代码

• arXiv 2608.16765v1
• PDF
• Hugging Face
• GitHub · https://github.com/Amuseum-WHR/TraceBench

相关论文

• 分类改成注意力层,1%标注追平全量谓词预测
• 阿里 6B Swift-Image：243K GPU 小时开源统一编辑第一，3B 剪枝几乎不掉点
• 湖南大学把基因组渲染成二维OCR文档,近二十倍压缩仍超过Enformer
• 南邮挂名Depth Anything V4，投稿两日因重大错误撤回
• 细粒度负向提问让MLLM频繁认错,InternVL3.5-14B配对准确率最多升24.2%
• 重力加仿射特征，未知焦距绝对位姿从4点降到1个对应

全部论文解读