提示词缓存+决策模型级联,把 LLM-as-judge 评测成本砍掉 70%

Longjumping-Piano550 · reddit · 2026-11-05

作者基于数千次 LLM-as-judge 评测的实战，总结了把单次检查成本压到最低的工程做法，整体使评测成本降低约 70%，且仅 0.4% 的检查结论发生变化。

提示词结构与缓存点：缓存读取通常便宜 10 倍，且是字节前缀匹配。把不变的部分（briefing、deliverable）放前面，变化的 instruction 放最后，缓存点设在 deliverable 结尾，只有 instruction 按原价读取。

运行顺序：不能并发所有检查——冷缓存时每个请求都付全价（3 个检查共 69,879 billed tokens）。让一个请求先热缓存、其余再跑，降到 23,563 tokens，约省三分之二；不同 deliverable 用 sha256(model + briefing + deliverable) 作为独立缓存键，各通道互不等待。

路由到热缓存：请求需带 promptcachekey，否则可能被路由到没有缓存的实例——作者实测漏掉该键导致 0 缓存命中。

级联检查：先用廉价决策模型（如 Jev 或 OpenAI 决策模型）初判，置信度高就不跑 LLM judge。生产数据：72% 的检查置信度 ≥0.95，该区间决策模型与 judge 一致率 99.5%。

分层阶梯（每检查成本）：确定性代码检查 $0/毫秒 → 决策模型 $0.0001/0.3s → LLM-as-judge $0.003/25s → agent-as-judge >$0.003 多步。叠加后整套评测可以跑在每次 commit 上。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →