100 个网页抓取与数据采集工具清单,Oxylabs 开源 Agent Skills 配套
Aiden_Tech_Ai · x · 2026-10-31
一条覆盖网页数据采集生态的工具大清单,附 Oxylabs 官方开源的 Agent Skills 仓库。
- 清单分 10 大类共 100 个工具:代理平台(Oxylabs、Bright Data、Smartproxy)、抓取 API(ScraperAPI、ZenRows、Apify)、无代码抓取(Octoparse、Browse AI)、爬虫框架(Firecrawl、Crawl4AI、Scrapy、Playwright)、SERP 数据(SerpApi、Tavily、Exa)、数据增强(Diffbot、Clay)、电商数据、自动化工作流(n8n、Make)、AI 抓取研究、存储(DuckDB、PostgreSQL、Pinecone 等)。
- Oxylabs 的 web-api-skills 仓库(MIT 协议)提供三个 skill:教编码 agent 使用其 Web API 做实时搜索与抓取、一套搜索-选源-引用的研究方法、以及从 Tavily/Exa/Firecrawl/Perplexity/Brave/Linkup 迁移的指南。支持 Claude Code、Cursor、Codex 等 skills-aware agent,npx skills add oxylabs/web-api-skills 即可安装。
「编程与Agent」频道最新
- 开发者把 Game Boy CPU 指令编译进 Qwen 权重，未经修改的 HF 推理可跑通 — vincent_koc · 2026-10-31
- Claude Code Mods 详解：会话内跑 JS 模块，把编码助手变成可编程运行时 — bibryam · 2026-10-31
- Memgraph 3.14 破坏性变更盘点:null 比较、列位置解析都会踩坑 — JeremyCMorgan · 2026-10-31
- 开源 PostgreSQL MCP Server:让 AI 助手用自然语言安全查询数据库 — modelcontextprotocol · 2026-10-31
- zero-core-verify MCP 连接器:用 LLM-as-judge 做交易后结果验证 — modelcontextprotocol · 2026-10-31
- ComfyUI Agent v0.4.0:事务化画布编辑、子图支持与 HF 模型自动查询 — FishermanLive8958 · 2026-10-31