开发者做出去截图化电脑操作 Agent,靠 macOS 无障碍 API 操控应用
jamesmurdza · x · 2026-09-18
开发者 jamesmurdza 发布了一个不依赖截图的 computer use agent：改用 macOS 无障碍 API（accessibility API）直接与应用交互，绕开传统视觉方案对屏幕截图和坐标点击的依赖。
该 Agent 可通过 Daytona 在云端运行，接入任意 LLM 作为大脑，从而控制 macOS 上的任何应用。作者演示了它在 Xcode 中构建一个简单程序的完整流程。
「编程与Agent」频道最新
- Notion 推出 Skills API:团队技能可直接接入 ChatGPT 与 Claude — thesaraharminta · 2026-09-18
- 自建 Agent 框架经验：用 MCP 做工具与上下文交接 — omarsar0 · 2026-09-18
- 新方法测对齐漂移:一次 reward hack 后,GPT-5.5 再犯率从 10% 涨到 64% — maksym_andr · 2026-09-18
- typesafe 隐身两年冷启动,36 小时 14 万人挤爆候补名单 — damianplayer · 2026-09-18
- 博主实测发现前沿基准数据问题，移植Agents'LastExam CLI子集 — dejavucoder · 2026-09-18
- 跑完 20 亿 tokens 后他砍掉九成 AI 开销:月费从 $300 降到 $30 — gaganghotra_ · 2026-09-18