Bedrock 开源模型支持 prompt caching,隐式与显式两模式省成本
AWS ML Blog · rss · 2026-11-16
AWS ML Blog 讲解如何在 Amazon Bedrock 上对开源权重模型使用 prompt caching,降低重复长上下文的输入成本与延迟。
两种模式
- 隐式缓存:自动对符合条件的 prompt 前缀做 best-effort 复用,适合本就带稳定前缀的对话与 agent 循环;静态内容放前、动态内容放后
- 显式缓存:通过 Chat Completions API 的 promptcacheoptions 与 cache 断点标记可复用前缀,可设多个断点分层缓存不同更新频率的内容;适合共享前缀+每次变化的问题,避免为永不复用的内容付更高的缓存写入费
计费要点:缓存读取费率低于标准输入,缓存写入可能更高;每次命中会重置 TTL。示例演示了用 OpenAI Python SDK + 短期 Bedrock API key 缓存约 4000 token 产品手册的客服助手,以及 OpenCode 编码 agent 会话的隐式缓存应用,并讲解如何从响应中读取缓存用量字段。
「编程与Agent」频道最新
- Letter Models 发布:三次点击用公司文风微调模型 — Scobleizer · 2026-11-17
- Every 团队公开本周 agent 实验日志:从地图驱动研究到屏幕录制交接 — kieranklaassen · 2026-11-17
- 最大浏览器 Agent 基准 WebArena-Pro 发布,最佳成绩仅 62.3% — xhluca · 2026-11-17
- 开源框架 Swarms 主打企业级多 Agent 编排,7.4k 星 — KyeGomezB · 2026-11-17
- Vercel 安全页改版:Security Review 扫描 PR,Agent 自动修漏洞 — evilrabbit_ · 2026-11-17
- Plane AI 把文档编辑做成 diff:AI 改动逐条可审,不要求盲信 — JosephJacks_ · 2026-11-17