Show HN:Jevcrawl——为 AI Agent 打造、爬取循环不依赖 LLM 的爬虫
rayenmlayeh · hn · 2026-10-14
开发者 RayenMlayeh 在 Hacker News 发布 Show HN 项目 Jevcrawl,一个面向 AI agent 的网页爬虫,其核心卖点是爬取循环中不调用 LLM。
- 设计思路是让爬虫本身用传统规则/启发式完成抓取与链接筛选,把 LLM 调用留给 agent 下游,从而规避在爬取循环里逐页跑模型的成本与延迟(呼应「Jevons paradox」式的算力经济考量)。
- 项目已在 GitHub 开源,可作为 agent 数据采集层替代 crawl4ai 等 LLM-in-the-loop 方案的轻量选项。
「编程与Agent」频道最新
- Supabase 一键给应用装 MCP 服务器:ChatGPT/Claude 可直接调用你的应用 — dshukertjr · 2026-10-23
- Grok Bot 配「专属电脑」:浏览器+终端+云端文件系统直接干完任务 — nima_owji · 2026-10-23
- Neon 推出 TanStack AI 官方 AI Gateway 适配器,一个凭据调用多家模型 — matei_zaharia · 2026-10-23
- Reflection AI 演示 Beam 接入 opencode,自动微调 Gemma-4 准确率提升 66.5% — danielhanchen · 2026-10-23
- Cua 推出 Spaces SDK:让 Hermes 等 Agent 跑在你自己的电脑沙箱里 — Teknium · 2026-10-23
- PHP 爆两个未认证 RCE 漏洞,ProjectDiscovery 推全网免费告警服务 — cyb3rops · 2026-10-23