532 个 MCP 工具压成 4 个:mcp-search-proxy 用 BM25 省 60 倍上下文

pisa_p · reddit · 2026-09-12

作者在 OpenWebUI 前用 LiteLLM 聚合 21 个 MCP server、共 532 个工具,但每轮对话都注入完整 schema,约 179k token,即使模型根本不需要工具。

方案:自建 mcp-search-proxy 插入中间层,只暴露 4 个工具——

效果:同样能力下上下文从约 179k token 降到 2-3k(约 60 倍缩减);560 个工具只占 1.8k 字符。纯本地 BM25,无 embedding、无内置 LLM;按上游保持 sticky session,让有状态的浏览器 server 跨 navigate/scan/snapshot 正常工作。

适用边界:100+ 工具且多数轮次只需 0-1 个工具时值得;少于 30 个工具不划算;仅词法检索、无语义搜索。Docker Compose 部署,MIT 协议,仓库已开源。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →