63 kB 本地代理 kvdiff 开源:自动诊断并修复 MCP 工具乱序引发的缓存失效
BringinItDirty · reddit · 2026-11-22
作者开源 kvdiff(MIT,63 kB):一个零配置本地代理,用于诊断 MCP 工具导致的 prompt 缓存失效——一次 tools[] 重排或 schema 键序变化即可把约 94% 的缓存命中率打到 0%,成倍推高 token 花费并耗尽限额。
- 5 秒体验:npx @drod915/kvdiff --demo,内置 16 轮、15 个 MCP 工具的演示会话,展示 Turn 14 重排工具在 $.tools[9].name byte 1,670 处浪费 $0.38、Turn 15 在 --heal 下恢复 97%
- 直接包裹 agent:-- claude 或 -- codex,默认零改动透传,保留 header、无缓冲流式 SSE
- 可选 --heal:确定性排序 tools[] 与 schema 键,不触碰 messages/input/content/enum
- 支持 llama-server/vLLM,可归因易变 system、工具被改、前缀过短、TTL 过期、模型切换
要求 Node ≥ 24,内置 node:sqlite,严格绑定 127.0.0.1,零遥测。(与另一篇 kvdiff 介绍为同一项目的重复帖)
所属事件:开源工具 kvdiff 自动修复 prompt 缓存失效(2 条相关)→
「编程与Agent」频道最新
- 开发者用 Gemini 4 Neon 打磨浏览器弹球游戏,物理与美术全面升级 — AI_Andrew · 2026-11-22
- 开源项目 TalkTo 上线:给 coding agent 搭一个专属聊天服务器 — sull · 2026-11-22
- Replit 开源个人 AI 助手 Amuse:可控浏览器+付费前人工审批 — amasad · 2026-11-22
- 开源项目 OpenComputer 两天拿下千星,剑指高价 AI 程序员 Devin — Promptmethus · 2026-11-22
- 开源 RAEA 引擎:用 React 让 AI Agent 写出视频、3D 和游戏 — Promptmethus · 2026-11-22
- Sentry CEO:设计文档别移出仓库,Agent 需要读取意图 — zeeg · 2026-11-22