开源 webfetch 让智能体搜索 token 降 87%、成本降 66%
Remote-Breadfruit204 · reddit · 2026-07-23
开源 webfetch 给智能体搜索：少 87% token，成本降 66%
这条 Reddit 介绍了一个叫 webfetch 的开源本地网页搜索栈，目标是替代 LLM agent 里昂贵的托管搜索接口。
作者给出的结果很具体：在自己的 SimpleQA 测试里，系统保持了 96% 准确率，但相比 Anthropic/OpenAI 的托管搜索，token 使用减少 87%，整体成本 下降 66%。
主要做法
- 用 4 个搜索引擎做 RRF 融合，再本地抓取页面
- 结合 BM25 + bi-encoder 检索 和 cross-encoder 重排
- 做 句子级压缩，把结果 token 减半且未观察到召回损失
- 用 embedding + NLI 做语义缓存，处理改写后的重复查询
- 缓存结果保留来源，模型也可以在不信任时强制重新搜索
作者还提到，一个只跑了 16 次 web search 的小测试，就已经节省了 $1.49。项目可直接从 PyPI 安装，并能作为 Claude Code 的 MCP server 接入。
所属事件:开源本地搜索工具Webfetch号称大幅降低Agent成本(3 条相关)→
「编程与Agent」频道最新
- Agent 原生设计画布对比：Figma、Paper、OpenPencil 各有分工 — zakelfassi · 2026-07-23
- Bun 作者用 AI Agent 将项目从 Zig 重写为 Rust，修复 1.6 万个编译错误 — thursdai_pod · 2026-07-23
- 三行 prompt 改动，让 token 账单一周涨了 30% — Illustrious-Second-7 · 2026-07-23
- AI Agent 已能自我修改，自治边界被进一步推高 — davidcrawshaw · 2026-07-23
- Compound Engineering v3.20 把多模型分工带进编码流程 — iamrobotbear · 2026-07-23
- 有人把 ChatGPT Work 通过 Cloudflare 中继接成了 SSH 远程机 — nickbaumann_ · 2026-07-23