AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单
AWS ML Blog · rss · 2026-10-27
AWS ML Blog 长文讲解在 Amazon Bedrock 上使用 OpenAI 模型的 agent 如何用 prompt caching 降低成本、提升响应速度。
- 问题：agent 每一步都要重发全部上下文（工具定义、指令、全部历史），第 20 轮时模型重读第 1–19 轮，全部由你付费——像《土拨鼠之日》一样每轮从零开始
- 原理：模型 prefill 阶段构建 KV 状态，缓存服务保存该状态；后续请求前缀相同即可复用，只为新 token 付费
- 显式模式：用 promptcachebreakpoint 标记工具+指令等静态前缀（需 ≥1024 token），配合 promptcachekey 跨会话共享起点；实测约 4000 token 前首写 4120 token、后续只读
- 隐式模式：由 Bedrock 自动选择缓存边界，适合同一任务内持续增长的对话
- 建议：两者结合——显式标记共享前缀，隐式跟随对话增长
- 注意事项：前缀必须逐字相同，MCP 工具序列化需保持索引一致；日期、用户名等变量内容放在缓存边界之后
「编程与Agent」频道最新
- 用 $28 算力让模型给自己造 copilot：他的新模型个人基准 — bucolucas · 2026-10-27
- Agent 中途改计划该被允许吗：真实系统介入时的边界之辩 — wistfulcracker84 · 2026-10-27
- HeyGen 联手 Canva:幻灯片讲者备注自动变数字人讲解视频 — HeyGen · 2026-10-27
- 隐私场景实测：本地 Qwen 3.8 FN 不输云端前沿模型还更快 — dr_lm · 2026-10-27
- Cloudflare Computer 支持 agent 中断恢复，可跳过已完成的非幂等请求 — irvinebroque · 2026-10-27
- LLM Tails 实测省 80% 输入 token：先读后写约束 agent 编码 — savadks1818 · 2026-10-27