ViewCraft:联合进化多模态 Agent 的证据接口与读图流程,8 基准平均涨 6.1 分

Binxiao Xu · hf · 2026-10-14

ViewCraft 框架让多模态 agent 不更新模型权重也能通过可复用技能提升:同时进化一个可执行证据接口(负责选择、变换、组织观测)和其阅读流程(reader 解读生成的视图)。失败轨迹指导修订,replay 与成对评估保留有效改动,接口投影从被拒联合提案中恢复视觉编辑。

在 8 个基准上,ViewCraft 比直接执行平均提升 6.1 分任务分,且每个基准都有增益;在相同输入 token 预算下优势保持。全部 5 个多源任务上,学到的接口比初始技能少用 8%–15% 输入 token。技能还能跨执行器迁移,在所有迁移评估中胜过直接执行,表明证据构建与阅读是耦合的、可复用的技能。