SolveEdit: Benchmarking Visual Problem Solving in Generative Models
Wenjie Shu, Yexin Liu, Harold Haodong Chen, Xuerui Qiu, Zehan Wang, Yidi Zhang, Yizhan Chen, Zunwei Wang, Minghao Liu, Qi Chen, Harry Yang, Xiaogang Xu
cs.CV, cs.AI
2026-09-29
SolveEdit用2728道场景变换题测试图像与视频生成模型，最强GPT-Image-2的SolveScore仅57.0%；两阶段规划器不改编辑器，把它从直接生成提到71.6%。
现有图像编辑评测大多在测一件已经写进提示词的修改：把P2用黄线接到P3，其余尽量别动。现场问题经常是「修好这段断路」：先看图，推断该改什么，再改，还不能带坏无关内容。
指令式编辑基准检查的是执行给定变换。较新的image-to-image基准加上了时序、因果、空间、逻辑和规划，但没有把「合法变换从哪来」拆开：提示词、当前场景、还是画面里的规则。参考图打分还会误伤其他合法终态。SolveEdit问的是：给定源图和目标，生成模型能不能自己确定合法变换，在同一场景里做出来，并把无关内容留住。回答写在图上。
基准2728题、10个应用域、54个子域。模型只看到目标和源图。每题按钉死合法变换的最少信息分成三档，互不重叠：
标签不是难度。失败分两种：找错变换（solution-recovery），或变换对了但画砸、误改了不该动的内容（visual-execution）。
合法终态可以有多个，每题配一份原子变换契约。必达条件写必须完成什么，保护条件写必须原样留下什么，两者分开计分。每条打1、0.5或0，证据不够就弃权。契约再按语义SA、关系RA、视觉质量VQ与必达/保护交叉，得到六格诊断分。完成度R是必达加权分，损伤D是保护未满足的加权分。主协议λ=0.5：SolveScore = Gquality × max(0, R − 0.5D)。空白、严重损坏或跑题的输出直接判零。评估主要由VLM完成，一部分条件预先交给SAM和YOLO；生成器看不到契约。
SolveEdit-Plan是测试时两阶段规划器，无训练、不改编辑器。Inspect找出未解析变量并要局部裁剪当证据；Resolve对比候选变换，编译成带完成条件和保护义务的指令，再单次调用原编辑器。对照Generic Vision Rewrite用同一后端、两次智能体调用、一次最终生成，只做无结构的指令改写。
11个系统共用同一份清单，每题一次输出。视频只评最后一帧。失败最多重试两次，缺失记零并留在分母。
| 模型 | SolveScore | 完成度R | 损伤D |
| GPT-Image-2 | 57.0 | 67.6 | 23.9 |
| Seedream 5.0 Pro | 56.6 | 64.3 | 17.6 |
| Gemini 3.1 Flash Image | 55.5 | 66.0 | 23.1 |
| Qwen Image 2.0 Pro | 40.6 | 50.7 | 28.8 |
| Kling V3（末帧） | 27.5 | 39.1 | 34.0 |
| FLUX.2 [dev] | 22.8 | 31.7 | 32.3 |
| Qwen-Image-Edit-2509 | 20.8 | 32.7 | 47.5 |
| HunyuanVideo-1.5（末帧） | 7.4 | 17.3 | 55.5 |
开源图像编辑最高是FLUX.2的22.8，OmniGen2只有9.7。商业模型明显强一截，最强也刚过一半。GPT-Image-2完成度最高，损伤却比Seedream高6.3个百分点，总分几乎打平。三家头部的必达VQ都高于必达SA和RA：图连贯，题仍可能做错。
三个头部模型上，RD比IS低17.2到23.7分，SD比IS低7.0到8.8分。按应用域配平后，IS到RD的缺口集中在必达语义（-25.0）和必达关系（-13.0），必达视觉质量只有-5.6。更接近没找出该怎么改。
SolveEdit-Plan把GPT-Image-2从57.0提到71.6，比同等调用预算的Generic Vision Rewrite高6.3分。相对泛化改写，完成度从72.8升到75.8，损伤从16.3降到8.6。三个固定生成器平均加9.1分：Qwen-Image-Edit-2509从20.8到26.9，HunyuanVideo-1.5从7.4到14.0。规划每题两次LLM调用，平均3207输入token、635输出token。开源和视频的绝对分仍然低。
做图像编辑或视觉agent的人，这篇把「会改图」和「会解题」拆开了。提示已经写清怎么改时，商业编辑器还过得去；要读场景或图内规则，分数掉一截。
SolveEdit-Plan可以接在现成编辑器前面，不用微调。GPT-Image-2上比直接生成高14.6分，比同样两次调用的泛化改写高6.3分，损伤相对改写掉了一半以上。
它是渐进改进加一份更干净的评测，不是新的生成架构。契约式打分（必达/保护、允许多终态）对以后做视觉解题评测更有用。
正文没有独立的局限节，限制写在实验设计里。视频只评最后一帧，时间推理不在范围内。规划之后剩下的失败来自规划还是生成，论文自己说没有定论；开源和视频也谈不上可靠完成任务。规划多了测试时计算，两次调用的token数并不等于Generic Vision Rewrite。评估主通路是VLM，主文没有报告与人类标注的一致性。λ=0.5是设计选择，损伤最多扣一半。对照停在改写提示再单次生成，没有和多步编辑或训练过的规划器比。编辑器权重不动，执行错误会原样留下。