手机 AI Agent 走哪条路:截图循环、混合识别还是系统 API

ok-whileee7836 · reddit · 2026-09-11

楼主花数周研究 AI Agent 控制手机的技术路线，总结出三大阵营：一是截图循环方案（OpenAI Computer Use、Claude Computer Use、Gemini），模型看屏、点击、再截图循环；二是混合方案（如 UiPath），把视觉识别与 accessibility tree、DOM 等结构化 UI 数据结合；三是移动 API 路线（Apple App Intents、Siri Shortcuts），由应用把操作直接交给系统。帖子在 Reddit 征求社区对各路线前景的判断。