Agent 上生产前的 7 道关卡:缓存、幂等、预算与编排铁律
kmeanskaran · x · 2026-08-18
一篇被广泛转发的 Agent 工程清单,梳理智能体进入生产环境前必须过的 7 个阶段:
1. Agent 层
- Prompt caching:缓存系统提示词+工具定义,断点以上不能有动态内容
- 工具调用:schema 版本化、返回结构化错误让模型可自行恢复
- 限流:退避+抖动、按租户的令牌桶,其余进死信队列
- 记忆:先上下文,再带 TTL 的 DynamoDB,最后才是向量库;无限增长的历史就是 bug
- 预算:最大步数/最大 token/最大耗时,写死在代码里而非提示词里
- 幂等性:重试必然发生,但不能造成重复扣费
- 不可逆操作一律 fail closed,转人工审批
2. 编排
- 一个循环一个所有者,嵌套 agent 调 agent 是调试噩梦
- 子 agent 用独立上下文,传摘要而非全部历史
- 并行扇出、单点汇合;串行子 agent 只是慢循环
- 每步 checkpoint,崩溃可恢复
「编程与Agent」频道最新
- Mesh LLM:将多台电脑 GPU 汇聚成单一推理集群 — alex_verem · 2026-08-18
- Mesh LLM 开源:算力共享介于矿机与云服务之间 — alex_verem · 2026-08-18
- Sub8 Bots 开源版:本地 Linux VM 运行 — Daniel_Farinax · 2026-08-18
- 从 chatbot 到能自主行动的 AI:五个治理问题不能少 — jdjohnson · 2026-08-18
- GBrain 新功能:12 个问题生成个性化 Codex/Claude Code 智能体 — garrytan · 2026-08-18
- 开发者感叹:编程已死,宁愿让 Claude 改代码也不开 IDE — justalexoki · 2026-08-18