Webfetch 号称让 Agent 搜索少用 87% token
Remote-Breadfruit204 · reddit · 2026-07-23
Webfetch 号称把 Agent 搜索 token 压到原来的 13%
这条 Reddit 介绍了一个叫 webfetch 的本地网页搜索插件，目标是替代 Anthropic / OpenAI 这类托管搜索。作者称它在 SimpleQA 上能做到和托管搜索相同的 96% 准确率，但只用 13% 的 token、总成本降低 66%。
主要做法
- 先用 4 个搜索引擎做 RRF 融合，再抓取本地网页。
- 检索链路采用 BM25 + bi-encoder + cross-encoder reranker。
- 做了 句子级压缩，把结果 token 大约减半，且作者没有观察到召回损失。
- 引入 语义缓存：像“what did TypeScript 5.9 add”和“TypeScript 5.9 new features”这类改写问题，会先做 embedding 匹配，再用 NLI cross-encoder 验证；缓存 TTL 还会随答案时效性自适应调整。
- 每条缓存结果都保留来源；模型如果不信任缓存，可以强制重新搜索。
量化收益
作者给出的一个测试循环里只有 16 次 web search，就已经省下约 $1.49，其中包括托管搜索费用和上下文 token 成本。
项目可通过 PyPI 安装，也支持一条命令作为 MCP server 接入。
所属事件:开源 Webfetch 助力智能体搜索降本增效(4 条相关)→
「编程与Agent」频道最新
- 用 Opus 5.5 逆向改造大疆无人机，手机端全程本地安防追踪 — alexcovo_eth · 2026-10-27
- 微软研究院：ForkPilot 让 Agent 决策回溯的算力开销最高降 59% — EliasEskin · 2026-10-27
- Cursor 发布 Agent SDK:Markdown 写提示词,TypeScript 定义工具 — soleio · 2026-10-27
- 形式化方法黑客松 Vibecheck 满员:在旧金山给真实软件做形式化验证 — spikedoanz · 2026-10-27
- 医疗 AI agent 输出如何验证?开发者征求单元测试与 LLM 评审之外的方案 — Practical_Green5775 · 2026-10-27
- AI 智能体或成运行代码的唯一方式：鲁棒性远超传统方法 — IgorCarron · 2026-10-27