Bedrock 开源模型支持 prompt caching,隐式与显式两模式省成本

AWS ML Blog · rss · 2026-11-16

AWS ML Blog 讲解如何在 Amazon Bedrock 上对开源权重模型使用 prompt caching,降低重复长上下文的输入成本与延迟。

两种模式

计费要点:缓存读取费率低于标准输入,缓存写入可能更高;每次命中会重置 TTL。示例演示了用 OpenAI Python SDK + 短期 Bedrock API key 缓存约 4000 token 产品手册的客服助手,以及 OpenCode 编码 agent 会话的隐式缓存应用,并讲解如何从响应中读取缓存用量字段。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →