实测:给 Agent 的双手加上记忆,操作耗时砍半
naykip · reddit · 2026-08-25
作者为操作真实软件的 Agent 增加了持久化 UI 结构记忆。在 Telegram Desktop 任务中,首次运行需 110 秒/9 次调用,第二次运行仅需 59.9 秒/4 次调用,节省主要来自 Agent 无需重复寻找搜索框和输入框位置。
核心架构:
- Live Map: 窗口实时结构图(随窗口销毁,不作为持久记忆)
- Change Stream: 变更流(让 Agent 知道操作结果,无需重读全图)
- Per-App Dictionary: 基于应用和版本的持久化字典(记录如搜索框不是发送框等规则)
- Replayable Paths: 可重放的操作路径(如“打开 NAME 聊天”)
安全设计:
- Consent Gate: 所有的发送/提交/应用操作需人工确认,且路径无法绕过此限制。
- 不持久化内容: 不保存实时句柄、用户数据内容以及权限确认记录。
「编程与Agent」频道最新
- 个人 Agent Instinct 上线,能像人一样操控手机电脑 — kimberlywtan · 2026-08-27
- 发现宝藏:用 Claude Code 构建 VR 世界时的绝佳资产库 Sketchfab — ZeroStateReflex · 2026-08-27
- 生产环境如何检测技术成功但内容失败的 LLM 输出 — Choice-Attorney8884 · 2026-08-27
- FrontierAgent 开源:支持科研金融任务的本地 Agent 框架 — SimonShaoleiDu · 2026-08-27
- SiteSpeakAI 推出 Google Chat 集成,知识库问答进群聊 — hermanschutte · 2026-08-27
- Apodex 发布 Qwen3.5-MoE 驱动的多模态 Agent 模型 — apodex · 2026-08-27