竞品 RAG 机器人答出「Accept all cookies」：抓取工具选型实录
Typical-Code-7006 · reddit · 2026-09-28
开发者分享内部竞品分析 RAG 机器人的踩坑经历：第一版直接抓取原始 HTML 分块入库，结果一半索引是 cookie 横幅和导航菜单，真正的定价表因 JS 渲染根本没被抓到，机器人还「非常自信」地把「Accept all cookies」当成竞品定价报了出来。
随后他用一周实测了三款抓取工具：
- Jina Reader：在 URL 前加前缀即得 Markdown，十分钟跑通，适合原型；但 JS 重页面返回内容偏薄，仍需自己找 URL 和写抽取逻辑。
- Context.dev：extract 模式给域名加 JSON schema 即可自动找相关页面，甚至从他自己都没发现的安防页里挖到了 SSO 信息；但按调用计费更贵、文档偏薄。
- Firecrawl：最成熟，Markdown 干净、JS 页面正常渲染、几乎无缝接入 LangChain，还有待测的 extract 端点；痛点是抽取结构化字段时额度消耗比预期快，月成本不好估。
作者最后征集：有没有人把这些工具在生产环境跑了几个月，实际表现如何，比官网 benchmark 更有参考价值。
「编程与Agent」频道最新
- 开源 Three.js 游戏开发 agent skills：80 轮调优，QA 截图成本降 5 倍 — majidmanzarpour · 2026-09-28
- three.js 周下载破 1900 万,推客:99% 是 ChatGPT 和 Claude 下的 — cloneofsimo · 2026-09-28
- 开发者翻转悲观预期:模型变强后自称 10 倍速构建软件 — bennash · 2026-09-28
- Node.js 异步 zstd 压缩慢 23 倍，一个 PR 修复性能黑洞 — DanielLockyer · 2026-09-28
- 引用对、结论错：在草稿旁展示原文片段更易发现 AI 过度断言 — memokris · 2026-09-28
- Swarm 创作者 Kye Gomez：多智能体是 AI 研究最具影响的前沿 — KyeGomezB · 2026-09-28