排查 LLM 缓存失效的工具
t4a8945 · reddit · 2026-07-18
作者为本地优先的 LLM harness 做了一个排查工具 **cache-hunter**，用来捕捉调用里哪些变化会触发缓存失效。 ### 它解决什么问题 在本地跑模型时，prefill 成本会因为缓存失效变得很明显，常见原因包括： - 消息顺序变化 - system prompt 被改动 - tools 发生变化 - 甚至 `reasoning_effort` 变化也可能触发失效 ### 使用方式 1. 先启动 `cache-hunter`，让它指向真实的 LLM endpoint 2. 在 harness 里把请求指到 `cache-hunter` 的本地端口 3. 点击 `Start capture` 4. 正常跑一遍 session 之后工具会实时展示 session，并用红色单元格标出不稳定的字段。 ### 作者的观察 他已经拿自己的 harness 以及 OpenCode、Claude Code、Cline、Pi、Hermes、Vibe 测过，很多都暴露出： - system prompt 不稳定 - tools 不稳定 - 顺序不稳定 - 内容不稳定 作者的结论是：这类缓存稳定性检查应该成为 harness 的标准测试项。