逆向出的无障碍树桌面控制工具
aigclink · x · 2026-07-14
有人逆向了 Codex 的 Computer Use，做出一个可操作 macOS / Windows 桌面软件的工具：**pi-computer-use**。 核心思路不是像多数 computer use 那样先看截图再猜按钮坐标，而是 **ax-first**：先读应用的无障碍树和平台无障碍 API，直接拿到窗口里的按钮、文字和控件结构，理解后再执行 click / type / scroll；视觉只在支持的模型上作为兜底。macOS 需要辅助 App，并授权 Accessibility + Screen Recording；Windows 直接走平台无障碍 API。 作者还强调它的定位不是替代 app API 或 MCP：如果应用本身有可靠直连，就优先直连；computer use 主要补的是“没有 API 的老软件也能让 agent 操作”的能力，更像生态补全件。