港大开源手机 Agent PhoneGo:CLI+GUI 混合执行,步骤省 47%、耗时省 56%
aigclink · x · 2026-11-20
港大团队开源 PhoneGo,一个直接安装在 Android 手机上的 Agent,用自然语言让 AI 跨 App 完成任务——例如先在小红书搜港大附近酒店、提取酒店名,再自动切到携程查同一家当晚房价并汇总反馈。
核心数据:相比纯视觉手机 Agent,操作步骤减少 47%、执行耗时减少 56%、Token 消耗减少 55%。
技术路线是 CLI+GUI 混合执行:
- 离线探索 App,建立 App Navigation Map,把页面和导航路径编译成可执行命令
- 在线执行时优先调用已知命令,直接走熟悉路径,无需每步截图让模型猜
- 遇到未知页面、动态内容或异常状态,再由视觉模型兜底识别、点击、滑动
- 支持跨 App 协作,把一个应用获取的信息传给另一个应用
App 运行在虚拟屏幕里,不干扰用户正常用机。目前支持 Android 14+ / ARM64,提供 APK 直接安装,需自备模型 API Key,通过无线调试和无障碍服务操作。
所属事件:港大开源手机 Agent PhoneGo:跨 App 自然语言操作(2 条相关)→
「编程与Agent」频道最新
- Cognition 评测 Gemini 4 Neon:46.2% 得分逼近 Opus 5.5,成本仅三分之一 — scaling01 · 2026-11-20
- Anthropic 代码审查变革:AI 审查后实质问题检出率从 16% 升至 54% — dotey · 2026-11-20
- Modular 重建 MAX Module API:类 PyTorch 语法+即时调试 — clattner_llvm · 2026-11-20
- 曝 Apple 正研发可操控设备、上网与写码的 AI 智能体 — Polymarket · 2026-11-20
- comfy-ts 开源:一条命令给 ComfyUI 工作流补全类型 — rvion · 2026-11-20
- 开源 Feedbacker:给 Claude Code 加上 MR 式行内代码审查界面 — JeremyCMorgan · 2026-11-20