故意打断 prompt 缓存 1772 次，验证 Prefixwise 定位缓存失效原因
No-Individual159 · reddit · 2026-11-13
作者发布开源工具 Prefixwise（MIT）：LLM 服务端（vLLM/SGLang 等）只会告诉你 prompt 缓存 miss 了多少 token，不会告诉你为什么 miss；Prefixwise 能定位是哪处改动（工具顺序、系统提示中的时间戳、措辞、历史消息等）导致缓存失效、损失多少、怎么修。
验证方式：故意在回放的 agent 会话中制造 1772 次已知改动，检验工具是否找对原因。在 Qwen3-4B（Colab L4）上：
- vLLM 0.33：生成流量 441/441 找对原因；真实 Claude Code 会话 425/441；误报 0/909、0/906
- SGLang 0.5.23：生成流量 456/456；真实会话 424/434；误报 0/894、0/913
- 未命中的 26 例均为对最新工具输出的编辑——该部分本就不进缓存，无成本。
一半测试流量来自 150 段真实 Claude Code 会话（nvidia/Open-SWE-Traces）。安装即用：pip install prefixwise，只存哈希和 token 数，不上传 prompt。仓库：github.com/tejachavali/prefixwise
「编程与Agent」频道最新
- Amplitude 推出 Wave:AI 自动决定产品下一步该做什么 — testingcatalog · 2026-11-13
- jxnlco 观点:AI 让你变快后,别只顾多交付,要深耕新领域养品味 — jxnlco · 2026-11-13
- jxnlco 登 Google DeepMind 演讲台：执行免费后拼的是品味与好奇心 — jxnlco · 2026-11-13
- 一条提示词做出太空塔防游戏，AI 生成 Three.js 实战演示 — kimmonismus · 2026-11-13
- 用 AI 写 WebGL2 着色器做黑洞：光线弯曲零追问一次过 — kimmonismus · 2026-11-13
- Mac 刘海里的个人智能体 Sentientos：自带光标接管屏幕任意操作 — ycombinator · 2026-11-13