逆向出的无障碍树桌面控制工具
aigclink · x · 2026-07-14
有人逆向了 Codex 的 Computer Use，做出一个可操作 macOS / Windows 桌面软件的工具：pi-computer-use。
核心思路不是像多数 computer use 那样先看截图再猜按钮坐标，而是 ax-first：先读应用的无障碍树和平台无障碍 API，直接拿到窗口里的按钮、文字和控件结构，理解后再执行 click / type / scroll；视觉只在支持的模型上作为兜底。macOS 需要辅助 App，并授权 Accessibility + Screen Recording；Windows 直接走平台无障碍 API。
作者还强调它的定位不是替代 app API 或 MCP：如果应用本身有可靠直连，就优先直连；computer use 主要补的是“没有 API 的老软件也能让 agent 操作”的能力，更像生态补全件。
「编程与Agent」频道最新
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Codex 用户实测：Sol 搭配 Astra/Luna 子代理更省额度 — pvncher · 2026-09-11
- 开源 Agent Skill 2.3k 星:生成 MVP 蓝图并审计重构 agentic harness — tom_doerr · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- 首届 Three.js 大会落地巴黎，AI 正缩短从想法到原型的距离 — OdinLovis · 2026-09-11
- 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11