3000 页塞进向量库反而更差：老手分享 agent 检索的硬过滤心法
Desperate-Talk-4398 · reddit · 2026-10-10
作者观察到常见反模式：有人用爬虫 API 抓取整个域名、把 3000 页塞进向量库，结果检索质量比只有 40 页时更差——因为整站页面大多是导航、法务条款和 2019 年的过时博客，不筛选的爬虫只是往索引里灌噪音的昂贵方式。
他的可行做法：
- 爬虫只用来发现 URL，抓取任何页面前先按路径做严格过滤
- 过滤器刻意保持极简：一个前缀 + 两个排除规则，就能把 3000 页压到约 250 页真正有用的内容
对「先全部索引、让检索自己排序」的质疑，他认为这适用于搜索场景，但不适用于 agent——agent 有具体任务、token 预算且没有耐心。作者整套管线建立在这一判断上，欢迎反驳。
「编程与Agent」频道最新
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工，实测有效 — nbaschez · 2026-10-23
- 实测 12 个 AI 分类器后,作者直言「分类器新热是cosplay」 — KlausCodes · 2026-10-23
- 用 ESP32 小屏给 Claude Code 做 status 卡片，Go 本地检测状态 — tonylook · 2026-10-23
- Agent 调试新玩法:把 agent 指向 AgentsView CLI 让它自己查 trace 找病因 — dbreunig · 2026-10-23