给 agent 一个真 Chrome 指纹:chromint MCP 破 Cloudflare 等反爬墙,$1.5/千次抓取
usert313 · reddit · 2026-11-18
职业爬虫作者推出 chromint MCP server,解决 agent 遇到 Cloudflare/DataDome/Akamai/PerimeterX 反爬就报 403 放弃的问题。
- 架构:Rust 核心+Python 绑定的 HTTP 客户端库,作为 Apify Actor 以 standby 模式运行,即一个 HTTP 端点+token。
- fetch(url):用真实 Chrome 的 TLS、HTTP/2 和 header 指纹发请求(而非 Python 指纹),返回 markdown/html/json,每个结果带 block verdict,agent 能知道自己拿到的是页面还是挑战页。
- mintsession:verdict 判定被拦时,真实 Chrome 过一次挑战并验证会话,返回 session id;之后 fetch(url, session=...) 用同一身份走纯 HTTP,一次浏览器访问换同出口 IP 上任意多次廉价请求。
- 定价:成功抓取 $1.50/千次、mint 会话 $0.025/次、browse $0.015/次,被拦/失败免费;会话按站点+出口 IP 复用。对比 Browserbase/Firecrawl 的浏览器优先方案,它是 HTTP 优先、必要时才开 Chrome。
- 局限:交互式 Turnstile、需登录、需手机号的站点不行(但失败免费);拒绝私网/loopback/云元数据地址防 SSRF。会话数据存在用户自己的 Apify 账户内。
「编程与Agent」频道最新
- 法学院课程收官:6 支团队与企业合作交付 6 个可用法律 AI 原型 — jkubicki · 2026-11-18
- n8n 开源个人 Agent Nod 实测:用私有反向代理安全远程访问家庭服务器 — victorialslocum · 2026-11-18
- Floot Design 发布:先看多个设计稿再生成代码,治 vibe coding 千篇一律 — heyshrutimishra · 2026-11-18
- AI 系统设计学习路线:从负载均衡到多智能体的 6 个阶段 — goyalshaliniuk · 2026-11-18
- 把 LLM 输出流直接当绘图指令:Conduit 让 Claude Code 免建 App 出交互界面 — cinooo1 · 2026-11-18
- Windows 本地 Whisper 转录工具 FeinNote 开源:无账号无 API 即开即用 — _fortexe · 2026-11-18