只拿拒绝样本校准让缓存错误率翻 3 倍，随机 5% 审计救回

Reasonable_Royal_621 · reddit · 2026-10-13

作者分享 LLM 语义缓存（CacheVerifier）在生产环境踩到的坑：线上只有缓存拒绝（miss）才有标签，因为 miss 反正要调 LLM；而命中的请求直接被服务，永远不知道答案是否错了。

问题：只基于拒绝样本重新校准阈值后，误差从目标 2% 恶化到 9.5–27.7%（错了 5–14 倍），而命中率反而从 28.8% 升到 58.9%。这是一个「棘轮效应」：所有已标注点都在阈值以下，阈值之上的东西看起来零错误，阈值不断放松，上面的标签越来越少。
修复：随机强制审计 5% 的已批准命中（force a miss，按 1/p 加权），误差回落到 1.3–1.6%，额外 LLM 调用不到总流量 0.5%（基于公开 benchmark 的重放模拟）。
附图展示多种缓存策略（静态阈值、自适应阈值、Krites、本方案、微调验证器）在命中率 vs 错误率曲线上的对比。文末附 CacheVerifier 仓库（Paper B 第 4.4 节），并询问同行如何在缓存命中上获得标签。

「编程与Agent」频道最新