28 个抓取工具拼成路由器，盲测可读 96% 网站、成本仅四分之一
Careless_Love_3213 · reddit · 2026-10-14
作者为解决 agent 读网页时「HTTP 200 但内容无效」的问题，把 28 个抓取工具串成开源路由 Frankensurf：最便宜的工具先上，校验页面真实内容（搜索页必须有结果、商品页必须有价格），失败则升级到更重的方案。
150 个事先盲选网站的实测：Frankensurf 混合方案读对 96.0%，纯免费工具 88.0%，最佳单工具 Zyte 86.0%，Firecrawl 84.7%，Jina Reader 73.3%，裸 HTTP 仅 48.7%。搜索盲测中免费版对 Firecrawl 35 胜 5 负，加付费源后与 Exa 打平（4.67 vs 4.66）。
四条关键经验：
- 校验页面内容而非状态码——最伤 agent 的失败全都是正常 200 的反爬页、登录跳转或未加载的搜索页；
- 没有单一工具能读遍全网，按成本递增串联+页面校验，比最好的单工具高 10 个百分点，成本约省四分之三；
- 简单规则跑赢 LLM 裁判——「搜索页需有结果」这类死规则 89.5% vs 模型 88.8%，且快一倍；
- 基准会撒谎——在调参见过的网站上自测得 98.7%，换陌生网站暴跌至 71%；搜索评测若用与系统同源的规则打分等于自己批改自己的作业，盲测后 Exa 远超初版。现在作者坚持先选测试站点再看内容、评测集与调参集隔离、盲评。
项目已开源（alpha），基准脚本、站点清单与全部原始数据在 GitHub 仓库 frankensurf。
「编程与Agent」频道最新
- 本地 GLM 跑通受限作用域 agent 流程：PR 级审查修复全链路实测 — HankYeomans · 2026-10-14
- Claude Code 会话里冒出同事名字,原是多智能体邮件工具命名撞车 — doodlestein · 2026-10-14
- AIPOCH 开源科研工作台：可复现的 AI 研究全流程 — ahuja_priyank · 2026-10-14
- 阿里等发布 LSCBench:vibe coding 代码功能达标却仅 25% 兼安全 — Qwen · 2026-10-14
- sshexport 2.9 发布:用 ChatGPT 审计加固代码,支持 OpenWRT — esrtweet · 2026-10-14
- 瑞典真人秀整季成片被 AI Agent 删光,首播推迟到明年 — torb · 2026-10-14