ArisGlobal 反转 Prompt 缓存顺序,抵御提示词膨胀 200% 成本上涨
AWS ML Blog · rss · 2026-11-17
生命科学公司 ArisGlobal 在 AWS ML Blog 上分享了在 Amazon Bedrock 上用 prompt caching 控制推理成本的实战经验。
- 背景:NavaX AI 引擎用 Claude 从不良事件 PDF 中提取约 130 个字段;多租户定制规则使共享 prompt 前缀 6 个月内从 7.2 万膨胀到 18 万 token(+150%),单案例推理成本涨超 200%。
- 关键改动:最初把每次都变的源文档放在请求最前并缓存,导致不断增长的共享前缀无法命中缓存;改为先发共享前缀、紧接显式 cache checkpoint、文档放后,让跨请求跨租户复用前缀,实现次线性成本增长。
- 技术细节:缓存按前缀匹配,顺序决定复用范围;Claude 支持每请求最多 4 个 checkpoint,Sonnet 4.5 最小前缀 1024 token,支持 1 小时 TTL。
系统已在受监管制药环境处理超 100 万笔真实交易。
「编程与Agent」频道最新
- LangChain 团队解答:Agent、Deep Agent 与 Managed Deep Agent 有何区别 — LangChain · 2026-11-18
- 开源桌面机器人 Lamp 本周上线 Skill Store:物理技能可像 App 一样安装 — dee_hw · 2026-11-17
- 把支持工单收件箱做成 MCP server,让 Claude Code 自己处理客服 — Crazy-Mountain6125 · 2026-11-17
- Humans& 发布 744B 参数协作模型 Ampersand,登 Vercel AI Gateway — ericzelikman · 2026-11-17
- AI 编程工具形态之变:文件中心 IDE 退位,specs 与语音指令上位 — bendee983 · 2026-11-17
- 开发者发布发短信与 OTP 的 MCP server,求工具设计反馈 — Comfortable_Flan_752 · 2026-11-17