Burkov 指出坐标输出是 GUI 智能体的隐性瓶颈
burkov · x · 2026-10-19
《ML pockets reference》作者 Andriy Burkov 分析 computer-use agent 的关键难点：GUI visual grounding，即让模型根据自然语言指令精确定位屏幕元素。要点：
- 坐标输出方法脆弱：主流做法让模型输出点击点/边界框坐标，但在高分辨率屏幕上目标小且干扰物多，容易失效。
- 监督信号模糊：元素内部很多点都是合法点击位置，训练目标本身不唯一。
- 可诊断性差：坐标错了难以判断模型到底是哪一步理解出错。
- 新方向：无坐标方法改为预测图像 patch 上的注意力分布，但这类注意力通常只对空间目标训练，缺少显式校验机制。
他认为 grounding 是 agent 成功率的常见瓶颈，值得关注替代方案。
「编程与Agent」频道最新
- Codex 一直偏好用 DuckDuckGo 搜索?开发者实测发现默认引擎 — thomasahle · 2026-10-19
- Agent 45 分钟自动造出水族箱造景模拟器，手机电脑都能开 — CurieuxExplorer · 2026-10-19
- Visa 开源 AI 网络防御系统，加入 Anthropic Project Glasswing — emmanuelvivier · 2026-10-19
- 实测 Gemini Argon 4 调试优化 Go 代码，或成 Opus 5.5 之下的副手 — DanielLockyer · 2026-10-19
- Claude skill 一镜生成整座 Mos Eisley 城，含自建循环测试 — jasonkneen · 2026-10-19
- Lean 极限派之争：智能体编程时代该全用 Lean 写应用吗 — StefanoGogioso · 2026-10-19