开源 Prefixwise 诊断 Agent 缓存未命中:注入 1772 处改动全部识别归因
No-Individual159 · reddit · 2026-11-18
作者发布论文与开源工具 Prefixwise(MIT 协议),解决 agent 工作流的 prompt 缓存痛点:每次调用都重发整段对话,前缀顶部哪怕一个字节变化(工具列表重排、系统提示里的时间戳、编辑过的历史消息)都会导致整段 prompt 重新计费,而供应商的用量数据只告诉你 miss 了多少 token,不说原因。
工作方式:
- 以代理(proxy)/SDK 包装/LiteLLM 回调/vLLM 中间件形式介入,按供应商渲染顺序把请求切块;
- 每块维护 raw/canonical/masked 三种指纹,区分"工具顺序变了""时间戳跳了"与真实编辑;
- 定位并命名首个变更块为原因,并与供应商缓存 token 数交叉验证;
- 在 vLLM/SGLang 上对接引擎 KV-cache 事件,把"完全没命中"确认为逐出、跨副本路由 miss 或 CPU 恢复命中;
- 为每次 miss 定价,可实时应用两个修复(稳定工具顺序、自动断点)。
评测数据:向真实 Claude Code 轨迹和 vLLM/SGLang 生成对话注入 1772 处改动,全部被识别且归因正确,3622 条 append-only 轮次零误报;与 Anthropic 缓存诊断在 32/32 次 miss 上一致;引擎事件确认逐出与路由 miss 5/5;修复可挽回 97.5%–99.9% 的预期节省,任务成功率不变;每请求约 3 ms 开销,账本只存哈希与计数,不存 prompt 文本。局限:托管 API 上 TTL 过期与路由 miss 只能排除法推断,归因精确到块而非 token。
「编程与Agent」频道最新
- AI 生成小游戏上 App Store:SaaS 开发者转向做游戏的趋势 — alexmacgregor__ · 2026-11-18
- 微软 Ignite 发布 MAI 新模型:前沿性能只要零头价格 — jeremyphoward · 2026-11-18
- Pinterest 用「循环工程」自动调优内部分析 Agent — AxSaucedo · 2026-11-18
- 开发者实测 22 次共享记忆投毒攻击,2 次攻穿 Agent — JeremyCMorgan · 2026-11-18
- 设计师用一个 prompt 让 Claude 生成完整 App 首页流程 — Tegadesigns · 2026-11-18
- 1.3 万星项目 Plannotator:给 AI 编码计划做 PR 式评审 — techNmak · 2026-11-18