FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching
Thanh-Long V. Le, Steven Walton, Seunghyun Yoon, Branislav Kveton, Trung Bui, Eunho Yang, Viet Lai
cs.CV
2026-09-29
Adobe Research 的 FlowTool 用条件整流流直接生成修图工具参数，在四套基准上参考指标超过 JarvisArt 等 agent，A100 上单条延迟 0.19 秒，比最快对照至少低 50 倍。
专业修图软件要把「更电影感」「提亮主体、背景别动」落成色温、阴影、对比度上一串连续滑条。主流做法是让多模态大模型当 agent：先写推理，再选工具，再把数值当离散 token 往外吐。
滑条是连续平滑的，语言模型把数字拆成 token，精度不够。参数还按顺序一个接一个出，前面一步拧错，后面整条轨迹跟着歪。推理文本也不是最终产物，却把延迟和显存堆高，交互预览很难做。
FlowTool 来自 Adobe Research 与 KAIST，把编辑方案看成条件分布：给定图和指令，直接在连续参数空间里采样。生成器走条件整流流，学一条从高斯噪声到目标参数的近直线轨迹，推理时从噪声积分几步就得到参数。
三块结构：
参数归一化到 [-1, 1]。渲染器按固定最优工具顺序执行，模型只决定开哪些、拧多少。
训练分两段。监督阶段用 496,693 条内部专家修图记录，指令由 Gemma4-31B 根据原图、成图和参数合成。流匹配损失只算专家实际动过的工具，开关头用二元交叉熵。骨干先冻住，只训生成器和开关头，再开 LoRA 联合微调，免得随机初始化的模块把预训练表征冲掉。
专家那一组参数只是合格解之一。同一条指令往往有多种拧法，所以再用 DiffusionNFT 做奖励后训练：一次采一组方案，渲染成图。奖励是对专家成图的负像素 L1，加上 Qwen3.8-27B 当评委打的指令符合度。默认推理 3 步常微分方程。
对照两组：没针对修图训过的闭源模型 GPT-5.6 Sol、Gemini 3.1 Pro、Claude Sonnet 5、Claude Opus 4.8，以及专用 agent JarvisArt 和 RetouchIQ。评测覆盖 MMArt-Bench、自建 FlowTool-Eval（300 条内部留出）、ArtEdit-Bench、MIT-Adobe5K。有参考图时看 L1/L2 或 PSNR、SSIM、LPIPS；无参考时用 GPT-5 打语义一致性、感知质量和综合分。
| 方法 | MMArt L1↓ | MMArt L2↓ | Adobe5K PSNR↑ |
| GPT-5.6 Sol | 10.77 | 22.68 | 17.25 |
| JarvisArt | 11.64 | 28.69 | 17.39 |
| FlowTool-SFT | 9.37 | 17.78 | 17.83 |
| FlowTool-RL | 9.42 | 17.98 | 17.90 |
相对最强专用 agent，L1 最多降 28.8%、L2 最多降 47.4%，出现在 FlowTool-Eval。相对最强通用模型，L1、L2 最多降 13.0% 和 21.7%。无参考侧稳定超过专用 agent；和闭源模型比，感知质量略高，语义一致性还差一截，MMArt 上相对通用模型是 -2.2%。奖励后训练主要抬指令对齐，三套带指令的基准上语义一致性和综合分都涨了，像素误差在 MMArt 上几乎没动。
定性上，专用 agent 容易拧过头：JarvisArt 在青蛙那张上过曝到几乎毁掉内容。FlowTool 更贴人修，和 GPT-5.6 Sol 观感接近。
延迟更直接。200 条样本、A100 单条推理：FlowTool 0.19 秒、峰值显存 9.89 GB；最快本地基线 JarvisArt 是 9.66 秒、16.13 GB。相对最快对照至少快 50 倍。闭源走 API，GPT-5.6 Sol 端到端 32.11 秒，Claude Sonnet 5 也要 11.24 秒。
消融在 MMArt 上。去掉开关头，语义一致性从 7.96 掉到 7.04。只做第二阶段联合训练、不先冻骨干，该项掉到 5.99。骨干从 0.8B 升到 4B 有收益，再升到 9B 反而略退，综合分 8.44 对 8.69。常微分方程从 1 步到 2 步跳一截，3 步是平衡点，再加步数几乎不涨。1 步接近直接回归，撑不起合格方案。
监督训练单卡 A100 80GB 约 46 小时，奖励后训练 8 卡约 40 小时。
修图从「让语言模型写步骤」改成「在滑条空间里做条件生成」，更接近机器人里的视觉-语言-动作模型：语言理解归视觉语言模型，连续动作归流模型。已经有可脚本化滤镜栈的产品，不必再养一个会把数字说错的 agent。3 步积分、0.19 秒，交互预览是真能用的。
这是一次问题重述加工程对齐。生成理论本身没有新东西。数据、渲染器和工具目录都在 Adobe 内部，外面很难直接复现。无参考语义分仍落后 GPT-5.6，听懂指令还没追上会推理的大模型。适合有白盒渲染器、参数连续、要低延迟的产品修图；像素空间里的开放编辑不在范围内。
附录写明：目前只覆盖标准化线性参数，归一化到类似 [-100, 100] 的区间。色相这种环形量、文本类离散选项都还没接。
训练数据是内部专家记录，指令由模型合成，FlowTool-Eval 也是同一批数据的留出集。参考指标优势有多少来自分布内拟合，外部基准并没有拉开那么大：MIT-Adobe5K 上 PSNR 从 Claude Sonnet 5 的 17.58 只到 17.90。代码和权重需内部审批，按预印本标准可复现性偏弱。渲染器假定工具顺序固定最优，真实软件里顺序本身也是编辑的一部分。无参考指标用 GPT-5 当法官，和闭源基线同源，语义一致性那点落后可能被放大或缩小，论文没有交叉法官对照。