逆向出的无障碍树桌面控制工具
aigclink · x · 2026-07-14
有人逆向了 Codex 的 Computer Use，做出一个可操作 macOS / Windows 桌面软件的工具：pi-computer-use。
核心思路不是像多数 computer use 那样先看截图再猜按钮坐标，而是 ax-first：先读应用的无障碍树和平台无障碍 API，直接拿到窗口里的按钮、文字和控件结构，理解后再执行 click / type / scroll；视觉只在支持的模型上作为兜底。macOS 需要辅助 App，并授权 Accessibility + Screen Recording；Windows 直接走平台无障碍 API。
作者还强调它的定位不是替代 app API 或 MCP：如果应用本身有可靠直连，就优先直连；computer use 主要补的是“没有 API 的老软件也能让 agent 操作”的能力，更像生态补全件。
「编程与Agent」频道最新
- Reddit 网友征集:带持久记忆的个人 AI 通讯助手怎么搭 — BrooksomidusGG · 2026-10-27
- Claude Code 用法心得：max 档做规划，xhigh 档做实现 — majidmanzarpour · 2026-10-27
- Chrome 团队详解 WebMCP：不是取代 MCP，而是让网站直接向 agent 提供工具 — rseroter · 2026-10-27
- Agent 绕过 UI 就能改已审批报销单?Agent-Native 框架要堵这个洞 — rseroter · 2026-10-27
- 开发者晒 AI 编码智能栈：人定方向 Opus 写码 Astra 审查，人类只做审阅 — sh_reya · 2026-10-27
- Baseten 网络课：用自有合并 PR 建 benchmark,按每成功任务成本评估开源模型 — baseten · 2026-10-27