ScrapeGraphAI:用一句自然语言提示替代选择器的开源爬虫库
thisdudelikesAI · x · 2026-09-18
开源库 ScrapeGraphAI(29.5K stars,MIT 协议)用 LLM 加图逻辑自动搭建整条爬取流水线,无需写 CSS 选择器或 XPath,网站改版也不会失效。
- 写一句提示词(如“提取公司简介、创始人和社交链接”)并指向 URL,即可返回干净的 JSON 结构化数据。
- 支持网站与本地文件(HTML/XML/JSON/Markdown);提供 SmartScraper 单页抓取、SearchGraph 从搜索结果抓取、ScriptCreator 生成可复用 Python 脚本。
- 可接入 OpenAI、Groq、Gemini、Azure 或本地 Ollama;集成 LangChain、LlamaIndex、CrewAI、n8n 和 Zapier。
所属事件:ScrapeGraphAI 获三万星:自然语言一句提示替代爬虫代码(2 条相关)→
「编程与Agent」频道最新
- ffmpeg-skill 开源:39 个工具让 Claude Code 本地剪视频 — tom_doerr · 2026-09-18
- 2026 年的公司形态：一个装满 Claude agents 的文件夹 — mdancho84 · 2026-09-18
- 在去审查版 Qwen 27B 上训 LoRA 记住内部代码库，成本约 7.5 小时 — Similar_Job_6080 · 2026-09-18
- 网友建开源仓库汇集 JEV 最佳用例,欢迎 PR 补充 — matchaman11 · 2026-09-18
- 编码 agent 会话丢失痛失 3 天工作,开发者呼吁 agent 工作流也能「fork」 — LeviYagami · 2026-09-18
- 用户抱怨 Codex 里 Astra 20 倍订阅也几乎不可用,呼吁学 Anthropic 给订阅配额 — CtrlAltDwayne · 2026-09-18