十个开源仓库让你的 AI Agent 拥有整个互联网
victor_explore · x · 2026-09-30
实用清单帖:作者整理了 10 个让 AI agent 能搜索、浏览、点击并抓取干净网页数据的开源项目,并附当日核实的 star 数与协议信息。要点包括:
- Firecrawl(186K stars,AGPL-3.0):为 agent 设计的网页数据 API,可搜索、抓取并交互任意页面,直接返回可读的干净数据
- Browser-use(117K stars,MIT):给 agent 一个真实浏览器,能点击、滚动、登录、填表,是没有 API 的网站的入口
- Crawl4AI / Firecrawl 类工具(84K stars):把任意网站转成 LLM 友好的 Markdown,可从 sitemap 找全站 URL、用 CSS 规则提取结构化数据,无需调用 LLM、无需 API key 即可自托管
「编程与Agent」频道最新
- Apodex 1.1 发布:研究型 Agent 可中途改需求不重来 — SucceededMind · 2026-09-30
- Claude Sonnet 90分钟纯代码写出 Three.js 夜景水族馆,零素材文件 — prasenx · 2026-09-30
- 神经科学研究者用 Claude 与 GPT 当研究助理,产出了成果却愁没处发 — neuroecology · 2026-09-30
- 不给音频只给结构:Jev 零样本预测 2029 通电话,AUC 达 0.78 — alexcovo_eth · 2026-09-30
- Replicas V3 发布:VM 里跑 Claude Code 与 Codex,可自带订阅 — KlausCodes · 2026-09-30
- Agno 智能体框架支持将组件一等公民式发布为 MCP — pritisinghhhh · 2026-09-30