算账:Agent 场景缓存价格比输入价更关键,一次未命中等于 25 次命中

zitoliv · reddit · 2026-11-03

作者算了一笔账:编码 Agent 每轮重发全部会话历史,100K 上下文跑 50 轮就是 5M 输入 token,几乎全是重复历史,因此决定账单的是缓存读取价和命中率,而不是模型页上的输入价。

常见 miss 原因:中途切换供应商(缓存在哪里写入就在哪里命中)、空闲超时(Anthropic API 默认 5 分钟,Claude Code 订阅部分场景 1 小时)、改动 prompt 前部(system prompt、AGENTS.md 等)导致其后全部按原价重读。

建议:锁定供应商、控制会话长度、保持 prompt 开头稳定。配图用柱状图展示了 50 轮会话中可缓存历史的累积与两种模型的成本对比(2026 年 11 月官方 API 价格)。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →