AWS 发布 Bedrock 成本管理五步法:从分摊到预算管控
AWS ML Blog · rss · 2026-10-31
AWS 机器学习博客发布面向 FinOps 与平台工程团队的 Amazon Bedrock 端到端成本管理指南,核心理念是「成本管理不是换便宜模型或缩短 prompt,而是一套运营模型」。
为什么 Agent 工作负载成本更难控
- 对话助手每轮用户输入只调一次模型,而 Agent 工作流(如规划、读文件、调工具、迭代的编码助手)每个任务要发起多次调用且携带更大上下文。
- 因此 token 消耗随工作流自主程度和上下文大小扩展,而非用户交互次数;公开的平均数据不可替代对自己负载的实测。
五阶段循环运营模型
- 分摊(Attribute):每美元都要落到身份、团队和应用。开启 CUR 2.0 的 IAM principal 归因,给 IAM 主体打 team/application/cost center 标签并激活为成本分配标签,24-48 小时后在 Cost Explorer 可按维度筛选。
- 可观测(Observe):把模型调用日志(请求数据、响应数据、元数据)落到 CloudWatch Logs 和/或 S3,用 CloudWatch 做快速运维查询,S3+Athena 做长期 BI 分析。
- 强制(Enforce):预算要有牙齿——至少告警,高风险处硬性拦截。
- 优化(Optimize):在平台层统一优化默认值(模型路由、缓存、token 上限),而不是要求每个团队自己小心。
- 运营(Operate):用记分卡和定期评审把数据变成决策。
关键坑:共享角色问题
- LLM 网关用单一 IAM 角色调 Bedrock 会把所有花费归到该角色,丢失用户级可见性。
- 解法是按用户会话管理:网关每用户 AssumeRole 一次,把用户身份作为 RoleSessionName、属性作为 session tags 传入,凭证可缓存最多 1 小时(每用户每小时一次 STS 调用,而非每请求一次)。文中给出 boto3 代码示例,恢复共享网关后的按用户/租户归因。
归因机制选型:bedrock-runtime 工作负载推荐 IAM principal + session tags(随身份体系扩展、无需预建资源);应用固定的小集合可用 application inference profiles 做发票级计费分离;用 Responses API / Chat Completions API(OpenAI 兼容)的 bedrock-mantle 工作负载应选 Projects。
阶段顺序有讲究:跳过分摊与可观测直接去优化的团队,等于在瞎猜。
「编程与Agent」频道最新
- GitHub Copilot App v1.1.34 发布：117 项更新，会话恢复速度大提升 — 0xkarasy · 2026-10-31
- Playwright MCP：让 AI 助手直接操控远程浏览器 — modelcontextprotocol · 2026-10-31
- zero-core-tools：聚合抓取、代码审查、情感分析的 MCP 连接器 — modelcontextprotocol · 2026-10-31
- 晒 Codex 用量: lifetime 715 亿 token,连续 262 天不间断使用 — TheMoonMidas · 2026-10-31
- ComfyUI-Dials：提示词对变 14KB 滑杆，免训练控制视频情绪动作 — MatlowAI · 2026-10-31
- 用 GPT-6 Astra 设计电动改装,把办公室椅子真造成了 — sdand · 2026-10-31