面向GUI助手的自进化框架
HIT-TMG · hf · 2026-07-16
这篇工作在讲一个面向个人 GUI 助手的框架 **KnowAct-GUIClaw**，核心目标是解决两类问题： - **跨平台 GUI 操作支持不足**：Android、iOS、HarmonyOS、Windows 之间迁移困难 - **缺少可持续自我进化机制**：无法从执行经验中不断变强 作者提出“**Know Deeply, Act Perfectly**”的思路，并设计了 **Know-Route-Act-Reflect** 框架： - **Know**：主代理利用累积交互经验和任务知识做长程任务拆解与分配 - **Act**：可插拔 GUI 子代理带有经验归因记忆与自进化技能库 - 系统会持续保存用户画像和反馈，用于提升任务拆解和工具调用准确率 实验覆盖四个系统平台，结果显示该框架在效率、准确率和跨平台适应性上都有提升。使用开源 **Kimi-2.6** 时，GUIClaw 在 MobileWorld 长任务基准上达到 **64.1%**，超过了包括 Seed-2.0-Pro 和 GPT-5.5 在内的对比对象；同时，该框架对不同底座模型也有迁移性，Kimi-2.6 上提升了 **8.5%**。