Reasoning with Image Generation
Nishad Singhi, Hector Garcia Rodriguez, Aditya Arora, Marcus Rohrbach, Anna Rohrbach
COLM 2026
cs.CV
2026-09-15
达姆施塔特提出ReImaGin,让MLLM调用生图模型做遮挡消除、俯视平面图等操作。六项任务超过纯文本与Sketchpad,路径追踪最高高出25个百分点。
多模态大模型做视觉问答时,中间推理几乎全在文字里完成:先把图说成话,再按文本 chain-of-thought 往下推。遮挡后面藏了几颗棋子、两个房间视角怎么合成一张平面图、一辆车沿朝向开会先撞到谁,这类需要在像素上动手的问题,文字描述很容易把几何关系说丢。
现成补丁是给模型接一批固定视觉工具,裁剪、深度估计、检测、分割,Visual Sketchpad 是这条线的代表作。工具能做的事事先写死,抹掉一块遮挡、想象一个新视角、把虚线描实,都超出工具箱。策略也靠人手写 in-context 示例,换任务就要重写一遍。
达姆施塔特与 hessian.AI 的 ReImaGin 把指令跟随生图模型收成一个自由格式工具 generateimage。agent 按 ReAct 循环走:每一步先写思考,再发一段 Python。代码可以调生图,也可以调 crop、overlay、subtract 和 numpy。生图吃自然语言指令加可选参考图,返回一张中间图塞回上下文,模型写出 TERMINATE 才停。
同一把工具在不同任务上干完全不同的活。深度题生成 depth map;遮挡计数把黑块抹掉再数;碰撞预测沿物体朝向画一条轨迹线;多视角空间推理先把两张图拼成统一视图,再生成俯视平面图;路径追踪把虚线描成实线;拼图先去掉白边,再用像素相减抠出缺块。
生图有随机性,难变换方差更大。空间推理任务 MMSI 上,每次调用采样 10 张候选,用 Gemini-3.1-Pro 挑最忠实于 prompt 的一张。其余五项重复采样几乎一样,没开这个 test-time scaling。
策略从哪来是第二条线。主结果仍用手写 in-context 示例。另外做了自动发现:从「有工具、无任务策略」的 prompt 出发,proposal 模型看成功和失败轨迹,每轮提 5 个候选,最多 4 轮,train 和 dev 各不超过 50 条。推理模型和生图模型全程冻结,只改 prompt。单任务发现成本约 214 美元。
主实验三个骨干 Gemini-3.1-Pro、GPT-5、开源 Qwen-3.5-27B,生图默认 Nano-Banana-Pro,也就是 Gemini-3-Pro-Image。对照是无工具直接答,以及 Visual Sketchpad 的专家工具箱。指标除遮挡计数用 sMAPE(越低越好)外都是准确率,三随机种子平均。
GPT-5 上差距最大:
| 任务 | 无工具 | Sketchpad | ReImaGin |
| 路径追踪 | 48.5 | 41.7 | 73.5 |
| 拼图 MIRA | 29.5 | 16.7 | 44.9 |
| 遮挡计数 sMAPE↓ | 12.5 | 11.7 | 7.4 |
| 空间 MMSI | 36.0 | 37.7 | 43.7 |
| 碰撞 | 44.7 | 51.0 | 54.0 |
| 深度 BLINK | 83.9 | 88.7 | 89.2 |
路径追踪高出 25 个百分点,对应摘要里的上限;遮挡计数相对误差大约降 40%。拼图和路径追踪上 Sketchpad 甚至低于无工具,专家模块做不了生成式变换。
Gemini 路径追踪从 71.5 到 89.0,深度却输给 Sketchpad 的专用深度估计器,94.6 对 99.2。Qwen 路径追踪从 35.7 到 78.5。MMSI 打开采样选择后,Gemini 从 51.0 到 59.0,Qwen 从 42.0 到 54.3;基线用 20 次 majority vote 对齐算力,ReImaGin 仍略高。
把 generateimage 改成原样返回输入图、其余 scaffold 不变,六项全掉,路径追踪 89.0 落到 77.5,拼图 42.3 落到 36.5。增益来自生成能力本身。
开源生图 FLUX.2 和 Qwen-Image-Edit 在局部编辑上够用,遮挡计数 sMAPE 分别是 7.0 和 6.8,对上 Nano-Banana-Pro 的 7.1。FLUX.2 深度掉到 89.1,低于无工具的 91.7;Qwen-Image-Edit 路径追踪只有 76.0,对上 89.0。
自动策略在 Gemini 上五项都超过「有工具无策略」,路径追踪 87.3 对手写 89.0,深度 94.3 对 94.6。搜出来的做法经常长得像人手版:深度任务学会生成 depth map,碰撞学会从车头画箭头。MMSI 的先拼接再俯视没搜回来,只找到类似全景。路径追踪加上着色后,着色失败,分数略伤。
视觉推理缺的经常是一张「换个看法会怎样」的中间图,再接一个检测器解决不了。框架训练免费、模块化,中间步骤是人能看的像素。遮挡补全、轨迹外推、多视角整合、把难读的线描清楚,都属于同一接口。
代价写得很清楚。跟 Sketchpad 比,两边 MLLM 推理都是每例 0.04 美元;ReImaGin 多付 0.12 美元生图,中位耗时从 52 秒到 76 秒。自动策略发现每任务一次性约 214 美元。这是用前沿生图模型换工具箱灵活性。
深度这种已有强专家的任务,专用模块仍然更稳。多出来的是一个自然语言接口,覆盖以前要分别接的专家模块,策略也可以搜。
人工审计 120 张中间图,75% 忠实于请求;忠实时最终正确率 87%,不忠实时 43%。失败分两类。生图把水槽、门、楼梯的相对位置画错,或把轨迹线画成垂直于车头朝向。另一类是图对了,模型看错,轨迹指向正确物体仍选成旁边小紫巴士。
深度任务上专用估计器仍然更准。开源生图配 Qwen 骨干时,碰撞和空间推理掉到无工具水平以下,全局几何一致性还撑不住。
评测规模偏小。拼图测试集只有 26 条,MMSI 两个 split 各抽 50 条,碰撞和遮挡各 100 条。路径追踪是论文自己合成的虚线近距不相交题,放大描线收益,外推要打折。主结果仍依赖人手策略;自动发现没恢复 MMSI 复合流程。Gemini 搜出的遮挡策略直接搬到 Qwen 上会变差。