10 个开源项目让 AI 智能体操控电脑与手机，最高 4 万星
victor_explore · x · 2026-11-04
作者整理了 10 个开源仓库，让 AI agent 能看屏幕、点鼠标、打字，甚至在虚拟机里运行应用或操控手机：
- UI-TARS Desktop（字节跳动，39k 星）：多模态 agent 栈，能看屏幕、点击和输入
- Cua（trycua，32k 星）：跨 OS 沙箱与计算机使用基准，给 agent 一台自己的电脑
- OmniParser（微软，25k 星）：纯视觉 GUI 解析，把截图变成可点击按钮
- Agent S（Simular，13k 星）：像人一样操作真实 GUI，称在 OSWorld 2.0 上击败 GPT 和 Opus 且成本低 73%
- UFO（微软，10k 星）：Windows 应用 agent
- Mobilerun（Droidrun，10k 星）：用自然语言控制 Android/iOS 设备
- Mobile-Agent（阿里巴巴，9k 星）：开源手机 agent
- Mobile MCP：让任意 agent 通过 MCP 操作 iOS/Android
- Windows-MCP：轻量接入让 agent 驱动 Windows
- Open Computer Use：Codex Computer Use 的开源版本
「编程与Agent」频道最新
- Roblox 架构模式更适合编码 Agent：C++ 内核加沙盒 Lua — rms80 · 2026-11-04
- 手机语音指挥 Agent 从零做出小游戏：自动写码、自测并存入 Artifacts — alexcovo_eth · 2026-11-04
- 用户用 Codex 追着 GPT-6 Astra 生成出无 3D 模型的 Three.js 小城 — OpenAIDevs · 2026-11-04
- 主动式 Agent 拦下千元合同错误与将发给千人的错漏 — alliekmiller · 2026-11-04
- 智能体记住了反馈却学错教训：改善「形成教训的方式」才是真进化 — uxmag · 2026-11-04
- 一个月内六家厂商抢建 AI Agent 语义层，NVIDIA 开源 Auto Ontology — YvesMulkers · 2026-11-04