开源 webfetch 让智能体搜索 token 降 87%、成本降 66%
Remote-Breadfruit204 · reddit · 2026-07-23
开源 webfetch 给智能体搜索：少 87% token，成本降 66%
这条 Reddit 介绍了一个叫 webfetch 的开源本地网页搜索栈，目标是替代 LLM agent 里昂贵的托管搜索接口。
作者给出的结果很具体：在自己的 SimpleQA 测试里，系统保持了 96% 准确率，但相比 Anthropic/OpenAI 的托管搜索，token 使用减少 87%，整体成本 下降 66%。
主要做法
- 用 4 个搜索引擎做 RRF 融合，再本地抓取页面
- 结合 BM25 + bi-encoder 检索 和 cross-encoder 重排
- 做 句子级压缩，把结果 token 减半且未观察到召回损失
- 用 embedding + NLI 做语义缓存，处理改写后的重复查询
- 缓存结果保留来源，模型也可以在不信任时强制重新搜索
作者还提到，一个只跑了 16 次 web search 的小测试，就已经节省了 $1.49。项目可直接从 PyPI 安装，并能作为 Claude Code 的 MCP server 接入。
所属事件:开源 Webfetch 助力智能体搜索降本增效(4 条相关)→
「编程与Agent」频道最新
- AIE Code Summit 2026 开放申请:仅收 800 人,keynote 全程免费直播 — trq212 · 2026-10-27
- 十年云架构师：企业 AI 架构远不止加一个 LLM — kashifmanzoor · 2026-10-27
- TRL 上线 Score Centering：直击 RL 训练不稳定的根因 — lvwerra · 2026-10-27
- 预计算标准答案：团队重复问答的缓存式解法 — colinmcnamara · 2026-10-27
- 开发者观点：与 agent 交互式协作仍有未被挖掘的价值 — alex_frantic · 2026-10-27
- 研究者发起 AMA:揭秘「平民开发者」用 AI Agent 自动化企业工作 — Loose_Rip359 · 2026-10-27