开源工具削减87% LLM API输入token
naruto_uzumaki00 · reddit · 2026-07-05
一位开发者开源了一个厂商中立的 token 优化层，以代理 + MCP 插件形式服务 Claude Code/Codex。在 GPT-5.5 和 Opus 4.8 的真实计费 token 上，输入分别从 16875/26573 降到 2232/3343（削减 86.8%/87.4%），任务质量均维持 3/3。
底层四个手段：前缀缓存、带数字守卫的尾部压缩、AST/文本检索、把可验证步骤级联到本地模型。作者诚实列出局限：静态嵌入没跑赢关键词检索、3B 压缩器曾丢关键数字、评测样本小且偏有利。Apache-2.0，附可复现 benchmark。
所属事件:开发者开源MCP服务器为LLM削减87%输入token(2 条相关)→
「编程与Agent」频道最新
- 用 Opus 5.5 逆向改造大疆无人机，手机端全程本地安防追踪 — alexcovo_eth · 2026-10-27
- 微软研究院：ForkPilot 让 Agent 决策回溯的算力开销最高降 59% — EliasEskin · 2026-10-27
- Cursor 发布 Agent SDK:Markdown 写提示词,TypeScript 定义工具 — soleio · 2026-10-27
- 形式化方法黑客松 Vibecheck 满员:在旧金山给真实软件做形式化验证 — spikedoanz · 2026-10-27
- 医疗 AI agent 输出如何验证?开发者征求单元测试与 LLM 评审之外的方案 — Practical_Green5775 · 2026-10-27
- AI 智能体或成运行代码的唯一方式：鲁棒性远超传统方法 — IgorCarron · 2026-10-27