AWS 实战:三大策略令 Agent 处理 23MB JSON 时 token 省 71%、延迟降 80%
AWS ML Blog · rss · 2026-11-18
AWS ML 博客分享为航空运营平台 Flightscape 构建生产级 agent(40+ 工具、输入 JSON 达 20MB+)时降低 token 成本与延迟的三条可组合策略。原始版本多数调用延迟超 15 秒,优化后 token 消耗最多降 71%,平均延迟最多降 80%。
技术栈:LangGraph + Amazon Bedrock AgentCore(含 memory 持久化),Bedrock Guardrails 过滤响应。
三大策略:
- 轻量会话状态 + 重工件外置:请求/响应/校验 JSON 等大负载写入 S3,AgentCore Memory 只存引用键;运行时按需 hydrate
- 大结果存 S3 返回摘要+句柄:工具返回超大列表/字典时只给模型紧凑摘要,模型可用 getresultpage 工具按页取详情
- 回合结束 dehydrate:把重负载从图状态剥离,只持久化轻量字段与引用
文章给出 PersistedState/GraphState 的 TypedDict 定义、dehydratestate 等代码,配 GitHub 仓库可复现。
「编程与Agent」频道最新
- Code Mode 推出一周年:各大主流 Agent 框架全部采用并沿用原名 — ritakozlov · 2026-11-18
- GitHub 与微软试点 MDASH:把海量 AI 漏洞报告变成 99 份带修复的质检报告 — mustafasuleyman · 2026-11-18
- Simon Willison 开源三套外部沙箱:让本地模型跑代码更安全 — Simon Willison · 2026-11-18
- OpenAI 更新 API 控制台:可按模型与密钥追踪用量和限流 — OpenAIDevs · 2026-11-18
- 「带证明的调用」构想:让 Agent 自证未违反不变量与策略 — tianyin_xu · 2026-11-18
- Devin 平台上线 Poke 人格模板:写代码机器人也能有态度 — marvinvonhagen · 2026-11-18