工程师数月实践:Agent 每次调用重发全量上下文,改一个 token 全额付费
dscape · x · 2026-10-27
工程师 Fred Oliveira(@f)发布数月 agent harness 设计研究的总结,核心观点是上下文布局本质上是一个成本决策。
- Agent 每次调用都重发全部上下文,单个请求往往触发数十次调用;提示前部改动一个 token,其后所有内容都按全价重新计算,prompt cache 全部失效
- 配图展示了缓存命中如何随调用累积(9/11 → 11/13),而一次 memory 编辑让命中率跌到 6/15
- 结论:instructions/tools/memory/conversation 的排布顺序应按「变更频率」设计,把易变内容放到尾部以保护前缀缓存
原文附完整推文串,适合做 agent 记忆与 harness 工程的省钱参考。
「编程与Agent」频道最新
- AXL 上线远程 MCP 服务器,向 Claude 等开放 1284 个营销 API — EdTech_Padre · 2026-10-27
- Every 揭秘「前沿团队」:专人盯新模型,用看板审计 AI 开销 — every · 2026-10-27
- Claude Code 团队如何做代码审查:90% 代码由 Claude 写 — inductionheads · 2026-10-27
- OmarchyTV 开源:把 Omarchy 风格搬上 Android TV 与 webOS — alexcovo_eth · 2026-10-27
- AWS 详解 Agent 提示缓存:显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
- Reddit 讨论:如何让 AI Agent 基于项目最新信息工作 — Few-Ad-1358 · 2026-10-27