Agent 账单暴增 9 倍?上下文窗口的平方级成本陷阱与优化指南

Warm-Reaction-456 · reddit · 2026-08-11

一位开发者复盘了客户 Agent API 账单暴增 9 倍的原因:上下文窗口的平方级成本陷阱。在 Agent 循环中,每一轮对话都会重发完整历史记录,导致早期 Token 被反复计费。如果运行轮数翻倍,重读成本将四倍增长。

成本黑洞

日志显示,一次典型运行携带 14k Token 底座,其中 11k 是工具的 Schema。一个 38k Token 的冗长搜索结果在后续 26 轮中被反复读取,产生了近百万 Token 的账单。推理过程其实近乎免费,重读历史才是大头。

优化方案

优化后,该客户的平均运行成本从每新增 1 个 Token 计费 18 次降至 6 次。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →