改错位置多花 10 倍钱:prefix caching 的隐藏成本与规避方法
rseroter · x · 2026-10-31
Patrick John Kelly 详解 LLM 对话中的 prefix caching 机制与编辑聊天记录的隐性代价：
- 原理：每轮请求都携带完整历史，provider 会对未变化的前缀复用服务端 KV cache,缓存部分通常只按正常输入价的 10% 计费(省 90%),且显著降低延迟。
- 关键陷阱：编辑历史中任何位置的 token 都会使其后所有内容位置偏移，缓存全部失效。
- 三种操作的成本差异(配图)：改开头(如 system prompt)→ 0% 缓存命中，全部按 1.0x 重算；中间删除一条 → 仅 34% 缓存；只在末尾修剪/追加 → 90% 缓存保留。
- 实践建议：在模型 API 直接暴露缓存控制之前，保持 prompt 开头静态、把所有改动放在上下文末尾，是让 AI 系统又快又便宜的最简单办法。
「编程与Agent」频道最新
- Next.js 原型原生 Go 支持，Route Handlers 可用 Go 编写 — rseroter · 2026-10-31
- 1Password 或成 Agent 身份授权层，范式转移重估平凡基建价值 — signulll · 2026-10-31
- GitHub Copilot 团队推出 Agent Bake Off,横向对比各模型与 harness — 0xkarasy · 2026-10-31
- 用 Opus 5.5 加 Astrocade MCP 做出沉船潜水小游戏 — _amirabs · 2026-10-31
- GitHub Universe 演讲:Build once, run on any agent 跨 Agent 复用 — 0xkarasy · 2026-10-31
- Claude 已能用 2 万美元 token 做出专业软件,TAM 同步缩至 2 万 — bigblueboo · 2026-10-31