用硬件级交互做手机 Agent
Alookaparatha9144 · reddit · 2026-07-13
作者提出一种**不依赖 ADB 的手机/平板自动化方案**：用硬件级交互替代系统级控制。 ### 核心思路 - 用一个很便宜的 **RV1106 开发板**（作者称约 10 美元） - 通过 HDMI 捕获手机输出画面 - 在本地跑 LLM 相关逻辑 - 再把设备伪装成 **USB HID** 去“触摸”屏幕 ### 方案特点 - **不需要 ADB、root、越狱** - **OS 无关**：不关心底层系统，只看屏幕画面并决定点击位置 - 应对 UI 更新更灵活：应用界面变了，脚本不一定立刻坏掉 ### 现阶段问题 - 最大瓶颈是 **ReAct loop 的延迟** - 作者也在质疑这是否会变成“过度工程”，但认为灵活性可能是长期优势 帖子里还提到他们已经把 demo 放到 GitHub，并欢迎别人指出这个思路的问题。