开源 kvdiff:逐字节定位 MCP 工具乱序导致的 prompt 缓存失效,可自动修复
BringinItDirty · reddit · 2026-11-22
作者开源了 kvdiff(MIT 协议),一个 63 kB 的本地代理,用来诊断 AI 编码 agent 的 prompt 缓存失效问题——这直接影响 Codex、Claude Code 与本地 llama.cpp/vLLM 用户的钱包和限额。
问题:Anthropic/OpenAI(1,024 token 前缀下限)和本地 KV-cache 都要求逐字节完全相同的前缀。如果 MCP 客户端重排 tools[]、改动 tool schema 键序、或在 system 里注入易变时间戳,缓存命中率会从约 94% 崩到 0%,每轮都要全量重算 prompt。而 CLI 转录不暴露原始 wire JSON,几乎无法定位。
kvdiff 的做法:
- 在 agent 与 API 之间本地代理,计算相邻两轮的首个分歧字节,映射到 JSONPath(如 $.tools[9].name,byte 1,670)
- 自动归因:工具重排、工具被改、易变 system、前缀不足 1,024 token、TTL 过期、模型切换,并在 127.0.0.1:4318 的本地 UI 统计浪费金额
- 默认零改动透传,保留 OAuth/beta header,即时 flush SSE
- --heal 可选开启:确定性地排序 tools[] 和 schema 键,让不稳定的 MCP 客户端持续命中缓存,且从不触碰 messages/content/enum
技术细节:Node ≥ 24,零原生依赖(内置 node:sqlite),严格绑定 127.0.0.1,零遥测。试用:npx @drod915/kvdiff --demo(无需 API key)。
所属事件:开源工具 kvdiff 自动修复 prompt 缓存失效(2 条相关)→
「编程与Agent」频道最新
- 开发者用 Gemini 4 Neon 打磨浏览器弹球游戏,物理与美术全面升级 — AI_Andrew · 2026-11-22
- 开源项目 TalkTo 上线:给 coding agent 搭一个专属聊天服务器 — sull · 2026-11-22
- Replit 开源个人 AI 助手 Amuse:可控浏览器+付费前人工审批 — amasad · 2026-11-22
- 开源项目 OpenComputer 两天拿下千星,剑指高价 AI 程序员 Devin — Promptmethus · 2026-11-22
- 开源 RAEA 引擎:用 React 让 AI Agent 写出视频、3D 和游戏 — Promptmethus · 2026-11-22
- Sentry CEO:设计文档别移出仓库,Agent 需要读取意图 — zeeg · 2026-11-22