分级抓取爬虫开源：先普通HTTP，不行再浏览器TLS指纹，还带MCP服务

vhsgreed · reddit · 2026-11-01

作者开源了一个「能偷懒就偷懒」的爬虫 certainlyscraped：先用普通 HTTP 请求抓取，被拒时升级为浏览器 TLS 指纹，必要时才动用真实浏览器。每一页都记录走到了哪一级，失败时能明确告诉你败在哪一步而不是直接挂掉。

它还以 MCP server 形式运行，可直接被 Agent 调用。项目附带每晚更新的 39 个热门站点测试表，显示哪些站点普通 HTTP 就能拿到数据、哪些必须 JavaScript——大多数大型社交平台都需要浏览器级抓取。