Vercel 开源 agent-desktop：读无障碍树驱动桌面应用，已 1.64 万星

victor_explore · x · 2026-11-05

Vercel Labs 开源 agent-desktop——面向 AI agent 的桌面自动化 CLI，GitHub 已斩获 1.64 万星、1.1k fork。

核心思路：编码 agent 已能驱动浏览器，但桌面应用还靠截图+点击坐标，脆弱易错。agent-desktop 改为读取操作系统的无障碍树（accessibility tree），返回稳定的元素引用（ref），agent 基于引用操作、再读 UI 验证结果，形成 observe-act-verify 循环。
能力与平台：提供 56 个操作命令，支持 macOS、Windows、Linux，以 CLI 和 C 库形式发布，支持 MCP，Rust 编写，Apache-2.0 协议。
定位：它是供 agent 调用的工具而非 agent 本身，内嵌无模型、无 GUI；只覆盖有公开无障碍树的桌面应用，不自动化网页（网页交给 agent-browser），对 Chromium/Electron 应用可开 DevTools 端口对接。

「编程与Agent」频道最新