AutoRef: Harness Optimization for Agentic Multi-Reference Image Generation
Yuta Oshima, Ku Onoda, Yusuke Iwasawa, Masahiro Suzuki, Yutaka Matsuo, Hiroki Furuta
cs.CV, cs.AI
2026-09-29
东京大学提出 AutoRef，冻结生成器与推理模型，用 coding agent 迭代改 harness。搜出的 AutoRef-Harness 把开源 FLUX.2 [klein] 4B 在四参考 MultiBanana 留出测试上从 5.72 提到 7.37，匹配或超过 Nano Banana Pro。
多参考图像生成让用户用几张图分别指定人物、物体、衣服、背景或风格，再合成一张新图。现成模型经常漏主体、复制主体，或者把人像贴纸一样贴进画面。
近期做法是给冻结的生成器和推理模型套一层 harness：可执行程序，规定怎么读参考图、怎么写 prompt、怎么出图、怎么诊断、怎么选出最终结果。多参考任务里参考图角色不同，输出还要同时满足「每张都像」和「整张图自然」，harness 从参考图顺序到失败检查几乎处处能改，人手很难预判改哪一段、涨多少。同样包 FLUX.2 [klein] 4B，人手 harness 分差很大：GEMS 掉到 5.37，Idea2Img 用 9 次生成才到 7.12。
AutoRef 不改生成器、不改推理模型，只让 coding agent 重写 harness 代码。搜索用 Claude Fable 5.1 经 Claude Code CLI 当 proposer，生成器是 FLUX.2 [klein] 4B，推理模型是 GPT-5.5。
图像生成的奖励是带噪声的视觉打分，标量几乎给不出诊断，在有限题上反复优化还会过拟合评测器。AutoRef 用两处设计把搜索从可验证任务迁到感知任务：
搜出来的 AutoRef-Harness 每题画 3 张图，其余决策全交给推理模型。四个机制是搜索过程中验证分上涨时加进去的：
搜索过程里，把当前草稿送回生成器做局部编辑这条线被丢掉了：训练题上 12 个标出失败的任务里，有 8 个编辑后失败还在。
评测器是 Qwen3-VL-8B-Instruct，五维（指令对齐、参考一致性、背景主体匹配、物理真实、画面质量）取平均，满分 10。四参考 MultiBanana 留出测试 133 题：
| 方法 | 每题生成数 | Avg. |
| FLUX.2 [klein] 4B | 1 | 5.72 |
| Best-of-3 | 3 | 6.01 |
| GEMS | 2.7 | 5.37 |
| IPR | 3 | 7.02 |
| Idea2Img | 9 | 7.12 |
| Meta-Harness | 4.2 | 6.23 |
| Greedy Search | 5 | 6.67 |
| AutoRef-Harness | 3 | 7.37 |
| Nano Banana Pro | 1 | 7.20 |
| GPT-Image-1.5 | 1 | 7.07 |
AutoRef 的第二名 harness 也有 7.00，仍高于 Meta-Harness 与 greedy。Idea2Img 收到同样 3 次生成时掉到 6.42。分项上背景主体匹配从 5.04 到 7.20，物理真实从 5.64 到 7.77。
同一套 harness 不重搜，FLUX.2 [klein] 9B 从 5.78 升到 7.10，Qwen-Image-Edit-2511 从 4.44 升到 5.69。三参考（搜索未见）4B 从 6.94 到 7.76；五参考从 5.19 到 6.36。OmniContext 用官方 GPT-4.1 评测器、搜索从未见过，4B 从 8.30 到 8.85，仍低于 GPT-Image-1.5 的 9.41。推理模型换成开源 Qwen3-VL-32B，四参考从 5.72 到 6.90，比配 GPT-5.5 时的 7.37 低。
消融：拿掉结构多样草稿、投诉改稿或失败感知选择，分别掉到 7.01、6.99、6.93。只做参考锚定、出一张图是 6.91；只做选择是 6.15。Qwen 上 harness 单独 5.69，已经高于对该模型做监督微调加奖励优化的 DyRef（4.91）；两者叠到 5.90。
四人在 50 道四参考题上两两比较：对 4B 原模型 70% 胜、13% 平、17% 负；对 9B 是 64/12/24；对 Seedream 4.5 是 63/10/27；对 Nano Banana Pro 是 46/14/40，只是略赢。
这是一次推理时程序搜索，不是再训一个多参考模型。已经能吃多张参考图的开源生成器，套上现成 AutoRef-Harness 就能涨分，搜索用的生成器、参考图数量、benchmark、评测器、推理模型换了也能涨。权重微调和 harness 优化可以叠，DyRef 那组数字说明两者不是替代关系。
代价是每题 3 次生成加多次 GPT-5.5 调用；闭源模型一次出图就能到 7.0 以上。人手 harness 里 Idea2Img 用 9 次生成才 7.12，AutoRef-Harness 用 3 次到 7.37，同样预算下程序结构比多采样更值钱。
同系列 9B 单次调用只有 5.78，套同一 harness 到 7.10，仍低于 4B 加 harness 的 7.37。在这条 benchmark 上，改调用程序比换大一号权重更划算。做广告合成、虚拟试穿这类多图指定，可以直接试用这份开源 harness；要在别的感知任务上重跑搜索，需要 Claude 级 coding agent 和能拆成 train/val 的任务集。
论文自己写了：harness 改的是用法，超不过生成器能画出来的东西。Qwen-Image-Edit-2511 在五参考上原模型 1.89，套 harness 变成 1.87，选择再聪明也救不了草稿全废。搜索最大化的是单一 VLM 评测器分数。
人工对比对 Nano Banana Pro 只有 46% 对 40%，和自动分 7.37 对 7.20 的「超过」不完全同量级。主结果绑在 GPT-5.5 上，换成 Qwen3-VL-32B 掉到 6.90，开源可复现路径比 headline 数字弱。Meta-Harness 对照只跑了 5 轮，原论文常用 20–40 轮，搜索算法优势可能被放大。搜索本身的美元成本和墙钟时间论文没报。评测器 Qwen3-VL-8B 会不会被 harness 里的失败检查话术套中，没有独立实验。