LLM 该放在爬虫管线哪一层？实践者总结提取管线成本与可靠性要点
minexa_ai · reddit · 2026-10-02
作者梳理了 AI 工作流（RAG 数据、销售线索、市场调研）中爬虫管线的常见结构与痛点：
- 经典管线为请求渲染→DOM 解析→CSS/XPath 抽字段→清洗存储，痛点集中在反爬/验证码与选择器因页面改版失效
- 用 LLM 替代字段抽取的好处：免写选择器、能处理脏数据、agent 可自动点击翻页
- 大规模运行的问题：长页面撞上下文上限需分块、成本随页面体积增长、缺失字段可能被"合理编造"、嵌套表格处理不稳定
- 通用最佳实践：指数退避重试、保留原始 HTML 快照以便重跑抽取、用正则/枚举做确定性校验、对 schema 不匹配告警、定时任务保新鲜度
作者结论：LLM 更适合放在抽取层之上而非直接当抽取器。文末推广其 Minexa.ai 的 Chrome 扩展训练确定性 DOM 抽取器方案。
「编程与Agent」频道最新
- Tavus 实时 AI 视频通话爆火：虚拟人像会调你网页里的函数 — TejasKumar_ · 2026-10-02
- Proof 将在 Money20/20 发布基于 x402 协议的 AI Agent 身份验证方案 — csuwildcat · 2026-10-02
- Instinct 的 30 项 Skills 延伸到订餐、打车、购物等现实服务 — FinanceYF5 · 2026-10-02
- 拆解 Instinct：不像聊天助手，更像跑在云端沙箱里的数字员工 — FinanceYF5 · 2026-10-02
- AI 圈周报:Lamp 语音更有情绪,人人都在自建 harness 和数据中心 — dee_hw · 2026-10-02
- Stardock 发布本地运行的 Clairvoyance AI，或成其最畅销产品 — draginol · 2026-10-02