AWS 实测 Bedrock 省钱四参数：缓存 TTL、Flex 档、思考力度与 maxTokens
AWS ML Blog · rss · 2026-11-13
AWS ML Blog 发布 Bedrock 推理成本优化指南，指出在调完 prompt 和应用逻辑后，四个请求级参数仍显著影响账单，并附实测方法与验证手段。
1. Prompt 缓存 TTL
- 支持 5 分钟与 1 小时 TTL；5 分钟写入为输入价 1.25 倍，1 小时写入 2 倍，缓存读取仅 0.1 倍
- 同一前缀请求间隔超 5 分钟且每小时至少复用 2-3 次时，1 小时缓存更划算
- 注意检查点顺序为 tools → system → messages，前段变更会使后段缓存全部失效；缓存按账号+区域隔离，多租户可给前缀加租户 SHA-256 哈希
2. 服务档位（Flex）
- 对延迟不敏感的批处理/评估任务可用 Flex 档，Nova 2 Lite 在 us-west-2 价格为 Standard 的一半
- 不支持的模型会直接抛 ValidationException（实测 Claude Sonnet 5 不支持）；可用 CloudWatch ResolvedServiceTier 验证实际档位
3. 思考力度（effort）
- Claude Sonnet 5 / Opus 5 默认 adaptive thinking 高力度，推理 token 按输出计费；从 Sonnet 4.6 迁移不改代码就会新增思考开销
- 在 tool-calling agent 实测中，high 比 low 输出 token 多 169%，max 多超 300%，正确率均为 24/24——降低力度可大幅省钱
4. maxTokens
- 现在同时限制思考+回答文本，需随模型切换重新校准
文中给出缓存、Flex、effort 的请求签名示例及 sample notebooks 链接，可用响应元数据、日志和账单验证效果。
「编程与Agent」频道最新
- Inkling 2 Small 深度查询热图:q/k/v 分流后期层差异显著 — stochasticchasm · 2026-11-13
- 同框架同规则:Argon 17 局 12 次用代码图,Opus 只用 4 次死守 bash — rseroter · 2026-11-13
- Chris Lattner PyTorchCon 演讲：Mojo 与 MAX 跨硬件运行模型 — clattner_llvm · 2026-11-13
- AI Dev NYC 2026 工作坊：修掉「引用了不适用证据」的 agent — DeepLearningAI · 2026-11-13
- 全程代码作画：网友用Claude做出38分钟阿西莫夫动画电影 — CPlusPlus2025 · 2026-11-13
- Anthropic 研究：AI Agent 让专家经验「永生」，企业尚未警觉 — PeterDiamandis · 2026-11-13