开源隐蔽浏览器MCP解决Agent网页抓取痛点
arhamislam5766 · hn · 2026-07-11
作者在使用 AI 编程助手时发现，抓取网页常消耗巨量 Token（如单个维基百科页面原始 HTML 达 6.8 万 Token），且在遇到 JS 渲染或反爬机制的网页时容易失败。 为此，作者开发了一款开源的隐蔽浏览器（基于重新编译的 Chromium），并作为 MCP 供 Claude Code、Cursor 等工具使用。 - **效果**：该工具能有效绕过部分反爬检测，并返回精简后的内容。例如，原本报错的 JS 测试页面和 Nike 官网，现在能以极低的 Token 消耗（约 285 和 700 Token）成功获取数据。 - **局限性**：目前尚无住宅 IP 出口，无法突破 Kasada 级别的高级防护墙。适用于 Agent 自动化、QA 测试与数据研究场景。