给 AI 装上眼睛和双手:5 个计算机操作开源项目盘点
udmrzn · x · 2026-10-28
盘点 5 个让 AI 能「看见屏幕并操作应用」的 GitHub 开源项目:
- OmniParser(微软)——屏幕解析
- Agent-S ——计算机操作 agent
- UI-TARS Desktop ——字节跳动的 GUI agent 桌面端
- OpenAdapt ——基于录制工作流自动化
- screen-use ——屏幕操作能力
作者观点:当 AI 真正能看到你的屏幕并操作上面的应用时,事情才变得有趣。
「编程与Agent」频道最新
- 用 logprobs 把 LLM 从硬分类器升级为可调阈值的软分类器 — JnBrymn · 2026-10-28
- Codex 团队日更系列第 23 天:跳过 iCloud 插件,进行一次重置 — dotey · 2026-10-28
- Cloudflare Access 支持 HTML+Liquid 自定义登录与拒绝页 — dinasaur_404 · 2026-10-28
- 查内存泄漏时 Opus 重试同一会话 2060 万次,开发者晒翻车现场 — johnlindquist · 2026-10-28
- 开源视频设计 Skill:让 AI Agent 按方法论做视频 — songguoxiansen · 2026-10-28
- 不是所有流程都需要 Agent:固定步骤用配方,别用 Token 跑 if 语句 — adamse · 2026-10-28