前端模型规划+小模型执行,桌面 Agent 每步耗时降到 1.2 秒
Frosty-Hunt-7697 · reddit · 2026-10-19
一位开发者分享了自己 Mac 桌面 Agent 提速的核心思路:把「规划」和「点击执行」拆开。
- 问题:前沿模型直接驱动 GUI 时,每次点击都要截图+完整推理,一步要几秒且昂贵,但多数步骤其实很琐碎。
- 做法:Claude Code 作为规划器一次性写出整批步骤(如「点上传、输入文件名、下拉选简历」);小模型 Jev(TypeSafe 出品)负责每步执行,约 0.6 秒在截图里定位目标;打字、按键、选下拉框等朴素步骤完全跳过模型。
- 优化细节:优先读 macOS 无障碍树,读不到才回退像素识别;每批结束给规划器一份约 20 行的文字版屏幕报告,大幅减少截图需求。
- 护栏:疑似发送/删除/支付的点击需人工批准,用户一碰鼠标立即暂停。
- 成绩与短板:12 个随机按钮的测试页命中 47/48,每次点击约 1.2 秒;但在自绘 UI 的应用(如 GitHub 网页编辑器)里仍会丢按键。
代码已开源,作者也在征集其他 planner/executor 分离方案及无障碍树缺失场景的处理经验。
「编程与Agent」频道最新
- Vercel 推出免注册部署:拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件,组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工,实测有效 — nbaschez · 2026-10-23
- Sierra 伦敦大会被指逊色旧金山场,Agent 落地数据成稀缺话题 — DimlyDimwitted · 2026-10-23
- 开源 C-Sweet 用本地 27B 小模型模拟整家公司运营 — Demonicated · 2026-10-23