Vercel 开源 agent-desktop:读取系统无障碍树让 Agent 可靠操控桌面,已获 7.9k star
abhishek__AI · x · 2026-11-02
Vercel Labs 开源了 agent-desktop(Rust 编写,GitHub 已 7.9k star),让 AI agent 在桌面端实现可靠的 computer use。
- 原理:通过操作系统无障碍树(macOS AX API、Windows UI Automation、Linux AT-SPI)读取应用真实 UI 结构,而非像素猜测,UI 元素引用稳定、动作可安全重试。
- 支持 macOS、Windows、Linux,无需抢占窗口焦点,无像素匹配。
- 提供 CLI(每次调用一个 JSON envelope)与 C FFI 库,支持 MCP,Apache-2.0 协议。
所属事件:Vercel 开源 agent-desktop：智能体可可靠操控桌面(4 条相关)→
「编程与Agent」频道最新
- ChatGPT 抓取不执行 JS，客户端渲染网站对 AI 全盲 — gaganghotra_ · 2026-11-02
- Mac 语音输入工具 kivi:说话即成文,支持口头改代码 — itsOmSarraf_ · 2026-11-02
- 11 行代码加一个基础 LLM 就能搭决策模型,工程师晒实现细节 — helloiamleonie · 2026-11-02
- 先整理代码库再让 AI 写测试：作者称效果胜过一切 prompt 技巧 — arpit_bhayani · 2026-11-02
- 黑客公开 10 条 AI 提示词,复盘 PHP 9.2 分 RCE 漏洞混乱 36 小时 — Dave_Maynor · 2026-11-02
- 开发者用 OpenAI Agents API 修 1995 款 Miata,计划开车横穿美国 — OpenAIDevs · 2026-11-02