开源爬虫框架 Scrapling 获 93.6K 星，主打自适应抓取服务 AI Agent
techNmak · x · 2026-11-03
Scrapling 正在成为 AI Agent 与网页交互的重要开源工具链，GitHub 已收获 93.6K 星、9.8K fork。
它是集 fast HTTP 请求、隐身浏览器、强大解析与并发爬取于一体的 Python 框架，覆盖从单次请求到整站并发爬取的完整工作流。
其核心亮点是自适应抓取（adaptive scraping）：
- 自适应解析：网站改了 CSS 类名后，可通过保存的元素属性和相似度匹配重新定位元素，抓取器不会轻易失效；
- 支持 JavaScript 渲染页面、持久会话、代理轮换、自动重试、断点续爬与 AutoThrottle；
- 内置 MCP server 与 Agent Skill，AI Agent 可直接调用它浏览网页、提取数据、把整站导出为干净的 Markdown，另提供 CLI 与交互式 shell。
所属事件:开源爬虫框架 Scrapling 星标破9万,服务AI Agent网页交互(2 条相关)→
「编程与Agent」频道最新
- DeepSeek 超级智能体提速 1.9 倍,代价是烧掉 3.8 倍 token — AIFlow_ML · 2026-11-03
- Reddit 用户推荐 Agent Router:$50 免费额度聚合 Claude/GPT/DeepSeek — RAFRAGE · 2026-11-03
- ComfyUI 本地 LLM 提示词增强节点:用完即卸载,不占扩散模型显存 — ProcedureFit789 · 2026-11-03
- Grok Build 大版本升级：MCP 重复结果修复让上下文占用砍半 — elonmusk · 2026-11-03
- 微软杰出工程师单人用 Rust 重写 40 万行 Copilot 运行时 — dfinke · 2026-11-03
- LongCat-2.5 实测:同任务成本 0.28 美元,约为 Qwen3.8-Max 的三分之一 — omarsar0 · 2026-11-03