桌面 Agent 用坐标网格做定位
Feisty-Gas9764 · reddit · 2026-07-19
一个名为 **Rosply** 的桌面 Agent 原型,主打不用 DOM 抓取,而是走“**截图 + 坐标网格**”的视觉定位路线来做桌面自动化。 它的流程是:**截图 → 视觉推理 → 鼠标/键盘动作 → 重复**。作者还加入了 **loop detection** 和 **coarse-to-fine grounding**,目的是提高点击准确率。项目是 source-available,并且支持本地运行。