前缀缓存成 Agent 省钱关键,命中价仅 2%
两篇热文系统讲解 LLM 前缀缓存(prompt caching):Agent 循环每轮都会重发 system prompt、工具定义和完整对话历史,而这些内容模型上一轮早已读过,等于反复为相同前缀付费。启用前缀缓存后,缓存命中的重复部分按极低价格计费——仅为正常输入的约 2%,可节省高达 50 倍成本,被视为 Agent 应用降本的关键手段。
2026-10-28 ~ 2026-10-30 · 2 条相关
- 缓存命中价仅 2%:一文讲透 Agent 循环里的 Prefix Caching 省钱术 — Arindam_1729 · 2026-10-28
- 缓存 token 详解:agent 循环为何重复付费,命中可省 50 倍 — Arindam_1729 · 2026-10-30