Reflect, Revise, Reuse: Training-Free Skill Evolution for GUI Agents
Bofan Chen, Boxuan Zhang, Fei Tang, Zhengxi Lu, Yong Du, Tongbo Chen, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen
cs.LG, cs.AI
2026-09-16
EvoSkill-GUI 把 GUI 技能写成可改的多文件包,边执行边改、失败后再隔离反思并写回技能。三套基准最高分别加 16.2、6.0、10.5 分,全程不训练。
GUI 智能体跑的是长程、会变的界面:弹窗、延迟加载、控件挪位置,执行前写死的计划经常作废。技能框架把流程外置成可复用资产,但现有技能多半是部署前写好的一整份长文档,规划、定位、恢复缠在一起,失败经验留在当次轨迹里,下次邻近任务还得从头编。
外部再挂一个更强的反思模型,既贵又和执行器脱节。GUI 真正需要的是部署期就能根据执行反馈改技能、而且不必再训练。
每个技能是一份多文件包:检索元数据、可执行计划、备用定位、失败恢复、无障碍树工具、失败案例。执行器用受限工具接口改这些文件,不能在包外乱写。
循环分三截。执行中一旦反馈和计划打架,立刻改局部,避免弹窗把整段任务带崩。失败后,同一骨干另开会话当批评者,只看指令、截图/无障碍树和动作,看不到技能原文、思维链和标准答案。执行器再按批评点名改对应文件,失败案例单独归档。检索不扫全文,按元数据打分:词覆盖 0.6 加 Jaccard 0.4,再加上应用名和关键词奖励,阈值 0.6 才复用,否则新建。每任务最多 50 步,失败后最多再改两轮。
MobileWorld 的 GUI-only 子集上,Claude-Sonnet-4.6 从 57.1% 到 67.6%,Qwen3.6-Plus 从 53.3% 到 69.5%(+16.2),Qwen3.6-35B-A3B 从 32.4% 到 44.8%,MAI-UI-8B 从 29.5% 到 37.1%。AndroidWorld 种子 30 从 68.1% 到 70.7%,种子 42 从 55.2% 到 61.2%,第二阶段复用率 100%。OSWorld 上 GUI-Owl-1.5-8B 从 46.7% 到 54.8%,Qwen3-VL-8B 从 23.8% 到 34.3%(+10.5)。
| 基准 | 最大提升 | 代表对照 |
| MobileWorld | +16.2 | Qwen3.6-Plus 53.3% → 69.5% |
| AndroidWorld | +6.0 | 种子 42:55.2% → 61.2% |
| OSWorld | +10.5 | Qwen3-VL-8B 23.8% → 34.3% |
结构化包相对单文件 66.67% → 69.52%。去掉即时修改掉到 62.86%,去掉信息隔离掉到 60.95%。12 个复用成功案例里,元数据检索 12/12 过阈值,全文检索 1/12,均分 0.88 对 0.41。Qwen3.6-Plus 三轮从 56.2% 到 68.6%,四五轮只再加 0.9 到 69.5%。同样三轮预算,pass@3 用 103.00M token 拿到 62.8%,技能演化用 94.75M 拿到 69.5%。AndroidWorld 89 次初始失败里救回 27 次;改计划 16/23,改定位 6/12,改恢复规则 1/4。阈值 0.4 过宽是 55.2%,0.8 过严是 66.7%,0.6 是 69.5%。
对 GUI agent 和「Agent Skills」这一路,技能可以当成部署期维护的程序,不必每次失败都去微调模型。同一套包能抬通用闭源模型和 GUI 专有 8B 模型,说明涨分主要来自可改的流程资产。三轮之后基本饱和,复用邻近任务比反复重采样更划算。这是推理期工程,不改权重。
没有正式校验器拦有害编辑,感知或诊断错了会把错误写进以后要复用的包。AndroidWorld 的高复用发生在同一任务族的参数变体上,换到没见过的应用类别可能没这么漂亮。失败多一次批评加一次修改,延迟敏感场景要靠复用摊掉。真实界面更新、个性化配置、网络延迟和隐私态,现有三个基准覆盖不到。OSWorld 有应用级负向条目,附录认为和技能写偏有关。