给编码 Agent 装上真浏览器：难点不是点击，而是确认点中了
Free-Plantain4841 · reddit · 2026-08-17
作者开源（MIT、免费）了一个让编码 agent 操作真实浏览器的工具，指出无头浏览器会撞登录墙，而驱动真浏览器的方案有个隐蔽 bug：agent 报告"已点击"但实际没点上——通常是 cookie 弹窗或模态遮罩盖住了点击点，工具却仍返回成功。
核心修法是点击前先做 hit-test：遍历开放与闭合的 shadow root，找出该像素上真正渲染的元素；若目标被遮挡，就滚动避开固定栏，或临时给遮挡层设 pointer-events: none、点完恢复内联样式，同时保持 CDP 真实点击（isTrusted 为真）。
其他要点：hover 与拖拽作为一等操作，才能触达悬停菜单、滑块、canvas 应用；在发布、支付、密码、2FA 等关键动作前停下，填好其余内容后交还控制权——持有会话 cookie 的 agent 不应能以你的名义发布。兼容 Claude Code、Gemini CLI 和 Codex。已知局限：遮罩穿透按几何与样式而非语义分类，暂不能区分同意弹窗与置顶导航。
「编程与Agent」频道最新
- 手动写 C 代码配合补全优于 AI 生成 — tetsuoai · 2026-08-17
- LlamaIndex 推出文档提取代理，准确率超 94% — llama_index · 2026-08-17
- Dizko 开源城市活动 MCP 服务器：覆盖 32 城市与 18 工具 — eye_tawnyah · 2026-08-17
- 开发者吐槽：现在同时跟多个 AI 聊天比写代码更累 — yihui_indie · 2026-08-17
- 开源 zxLLM 精准预测 LLM 显存与 KV 缓存需求 — Capable_Item_5918 · 2026-08-17
- Hermes Agent 修复桌面端媒体流凭证泄露问题 — Teknium · 2026-08-17