WinMind:绕开截图,用 Windows 无障碍树驱动 Computer-use Agent
Efficient_Heron5978 · reddit · 2026-09-30
开发者发布 WinMind,一个 Windows MCP server,思路是不走"截图→视觉模型→猜坐标→点击"的老路,而是读取 Windows UI Automation 无障碍树(与 Narrator/NVDA 同层),返回带编号的紧凑结构树,让 agent 直接调用应用自身的无障碍操作,如 uiact(ref=30)。
主要特点:
- 窗口被遮挡仍可交互,不移动鼠标,省 token
- 覆盖约 222 个原生 Windows 工具:健康、网络、安全、虚拟桌面、媒体、文件、进程等
- 作者重点处理了 Chromium 应用被遮挡后白屏(Discord/Spotify/VS Code/Steam)、WinUI 3 + WebView2 自循环(尤其 WhatsApp)、点击落在无 handler 的内层元素、按进程名找窗口(如 Spotify 标题是歌名)等坑
项目早期阶段,附 GitHub 仓库求反馈。
「编程与Agent」频道最新
- 浏览器版星际争霸 AgentCraft:为 Agent 接管而生 — philipvollet · 2026-09-30
- 开发者称 AI Agent 三天完成约 10 万美元人力的活 — RileyRalmuto · 2026-09-30
- 模型只是大脑，harness 才是手：竞争力在模型之外 — Olivier__OG · 2026-09-30
- alphaXiv 开源 OpenResearch 桌面版：把编码 Agent 变科研 Agent — gekobraa · 2026-09-30
- 开源项目号称「Agent 记忆的梯度下降」引热议 — Saboo_Shubham_ · 2026-09-30
- awesome-llm-apps 破 14 万星：100+ 开源 AI Agent 模板免费用 — Saboo_Shubham_ · 2026-09-30