研究 Agent 从 10 个网站到 200 个失效率超 30%，作者复盘踩坑
Ok-Good-6283 · reddit · 2026-10-21
一位开发者分享自建研究 Agent 的规模化翻车复盘：在 10 个精选网站上 demo 完美，但指向真实的约 200 个域名后，失效率从几乎为零飙升到 30% 以上。
失败原因（几乎不是模型的锅）
- 部分 React 应用对无浏览器爬虫只返回空 div
- 有的站点只对欧盟流量弹 consent 墙，本地无法复现
- 两个 2014 年的 WordPress 站返回 HTTP 200 但 body 里是错误页
核心问题
Agent 无法区分「页面真的没内容」和「页面没读到」，于是自信地写 null 继续跑。作者认为这不是爬虫问题，而是流水线缺少区分「空」与「坏」的信号。
解法
他在 fetch 层而非抽取层 加了置信度评分，两周内发现的问题行超过此前所有 prompt 调整的总和。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser：让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- Monid 发布 Agent 工具真实用量榜：TinyFish 居首周处理 75 万次 — HeyAmit_ · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令，作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测：不在 AGENTS.md 里写明的 MCP 工具，编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集，星标 1.65 万 — Arindam_1729 · 2026-10-23