开源 Prefixwise 诊断 prompt 缓存失手：19 种成因，实测省回 99.9%

No-Individual159 · reddit · 2026-11-09

开发者发布 MIT 开源工具 Prefixwise（pip install prefixwise），放在 agent 与模型之间或 vLLM 内部，用大白话解释每次 prompt 缓存 miss 的原因与代价，并自动修复常见问题、在 CI 里阻止缓存回归。提示词数据不出本机，只存哈希与计数。

识别：覆盖 19 种 miss 成因（工具顺序变化、system prompt 里的时间戳、历史消息被改写、compaction、缓存断点位置错误、TTL 过期、路由 miss 等），与 Anthropic 官方诊断 32/32 一致
修复：--fix canonicaltools 在线修复最常见成因，实测在 Claude 上实现预测节省的 99.9%、vLLM 上 97.5%，任务成功率不变
预防：prefixwise check -- pytest 或 GitHub Action 会在 CI 中跑 agent 场景，缓存被破坏即失败
接入：可包装 claude/codex/任意 agent、作本地代理、嵌入 vLLM middleware、Python SDK、LiteLLM 回调，约 30 秒配置；自托管引擎可从 vLLM/SGLang 的 KV 事件确认驱逐与路由 miss
本周实测发现：推理模型的 chat template 会把思考内容从历史中剔除，导致每轮重复 prefill 上一轮回答——Qwen3-4B 浪费 25-36% 的 prompt tokens，某 DeepSeek-R1 蒸馏版高达 57%，而 Qwen2.5/Llama 3.2 为 0%

开销仅每请求 3ms，README 中每个数字都链接到运行记录。

「编程与Agent」频道最新