开源 Prefixwise 诊断 Agent 缓存未命中:注入 1772 处改动全部识别归因

No-Individual159 · reddit · 2026-11-18

作者发布论文与开源工具 Prefixwise(MIT 协议),解决 agent 工作流的 prompt 缓存痛点:每次调用都重发整段对话,前缀顶部哪怕一个字节变化(工具列表重排、系统提示里的时间戳、编辑过的历史消息)都会导致整段 prompt 重新计费,而供应商的用量数据只告诉你 miss 了多少 token,不说原因。

工作方式:

评测数据:向真实 Claude Code 轨迹和 vLLM/SGLang 生成对话注入 1772 处改动,全部被识别且归因正确,3622 条 append-only 轮次零误报;与 Anthropic 缓存诊断在 32/32 次 miss 上一致;引擎事件确认逐出与路由 miss 5/5;修复可挽回 97.5%–99.9% 的预期节省,任务成功率不变;每请求约 3 ms 开销,账本只存哈希与计数,不存 prompt 文本。局限:托管 API 上 TTL 过期与路由 miss 只能排除法推断,归因精确到块而非 token。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →