开源 kvdiff:逐字节定位 MCP 工具乱序导致的 prompt 缓存失效,可自动修复

BringinItDirty · reddit · 2026-11-22

作者开源了 kvdiff(MIT 协议),一个 63 kB 的本地代理,用来诊断 AI 编码 agent 的 prompt 缓存失效问题——这直接影响 Codex、Claude Code 与本地 llama.cpp/vLLM 用户的钱包和限额。

问题:Anthropic/OpenAI(1,024 token 前缀下限)和本地 KV-cache 都要求逐字节完全相同的前缀。如果 MCP 客户端重排 tools[]、改动 tool schema 键序、或在 system 里注入易变时间戳,缓存命中率会从约 94% 崩到 0%,每轮都要全量重算 prompt。而 CLI 转录不暴露原始 wire JSON,几乎无法定位。

kvdiff 的做法:

技术细节:Node ≥ 24,零原生依赖(内置 node:sqlite),严格绑定 127.0.0.1,零遥测。试用:npx @drod915/kvdiff --demo(无需 API key)。

所属事件:开源工具 kvdiff 自动修复 prompt 缓存失效(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →