排查 LLM 缓存失效的工具
t4a8945 · reddit · 2026-07-18
作者为本地优先的 LLM harness 做了一个排查工具 cache-hunter，用来捕捉调用里哪些变化会触发缓存失效。
它解决什么问题
在本地跑模型时，prefill 成本会因为缓存失效变得很明显，常见原因包括：
- 消息顺序变化
- system prompt 被改动
- tools 发生变化
- 甚至 reasoningeffort 变化也可能触发失效
使用方式
- 先启动 cache-hunter，让它指向真实的 LLM endpoint
- 在 harness 里把请求指到 cache-hunter 的本地端口
- 点击 Start capture
- 正常跑一遍 session
之后工具会实时展示 session，并用红色单元格标出不稳定的字段。
作者的观察
他已经拿自己的 harness 以及 OpenCode、Claude Code、Cline、Pi、Hermes、Vibe 测过，很多都暴露出：
- system prompt 不稳定
- tools 不稳定
- 顺序不稳定
- 内容不稳定
作者的结论是：这类缓存稳定性检查应该成为 harness 的标准测试项。
「编程与Agent」频道最新
- AXL 上线远程 MCP 服务器，向 Claude 等开放 1284 个营销 API — EdTech_Padre · 2026-10-27
- GitHub 托马斯发布 Entire：面向人机协作的全新 Git 代码托管平台 — carrycooldude · 2026-10-27
- OmarchyTV 开源：把 Omarchy 风格搬上 Android TV 与 webOS — alexcovo_eth · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
- Reddit 讨论：如何让 AI Agent 基于项目最新信息工作 — Few-Ad-1358 · 2026-10-27
- 博主给 AI agent 配手机号和邮箱，像同事一样派活 — heyshrutimishra · 2026-10-27