开源 webfetch 让智能体搜索 token 降 87%、成本降 66%
Remote-Breadfruit204 · reddit · 2026-07-23
开源 webfetch 给智能体搜索：少 87% token，成本降 66%
这条 Reddit 介绍了一个叫 webfetch 的开源本地网页搜索栈，目标是替代 LLM agent 里昂贵的托管搜索接口。
作者给出的结果很具体：在自己的 SimpleQA 测试里，系统保持了 96% 准确率，但相比 Anthropic/OpenAI 的托管搜索，token 使用减少 87%，整体成本 下降 66%。
主要做法
- 用 4 个搜索引擎做 RRF 融合，再本地抓取页面
- 结合 BM25 + bi-encoder 检索 和 cross-encoder 重排
- 做 句子级压缩，把结果 token 减半且未观察到召回损失
- 用 embedding + NLI 做语义缓存，处理改写后的重复查询
- 缓存结果保留来源，模型也可以在不信任时强制重新搜索
作者还提到，一个只跑了 16 次 web search 的小测试，就已经节省了 $1.49。项目可直接从 PyPI 安装，并能作为 Claude Code 的 MCP server 接入。
所属事件:开源 Webfetch 助力智能体搜索降本增效(4 条相关)→
「编程与Agent」频道最新
- Gergely Orosz 观察:AI Agent 提速十倍交付,却带来一堆小退化 — ducha_aiki · 2026-09-11
- Kernel 接入 Stripe Link：浏览器 Agent 一行 API 即可安全付款 — jeff_weinstein · 2026-09-11
- 同题 Echo Maze 实测:三大模型看似成功,代码里藏着同一个 bug — eyishazyer · 2026-09-11
- 3D 网站生成工作流公开：MCP 接 Codex，一句话出可玩游戏 — FellMentKE · 2026-09-11
- 用 GPT-6 Astra 加 Hyper3D MCP 免建模做 3D 落地页 — FellMentKE · 2026-09-11
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11