算账了:Anthropic 缓存 5 分钟/1 小时选项对应 GPU 与 CPU 存储

bigaiguy · x · 2026-11-10

为什么 Anthropic 的 prompt caching 只有 5 分钟和 1 小时两档？关键在于缓存放哪：GPU 显存(HBM)快但贵，CPU 内存(DRAM)慢但便宜，而缓存放着每分钟都在花钱，超过某个点就不如重新读一遍 prompt。

作者算了笔账：以 100K token 的 Llama 3.3 70B 缓存为例，重读一次约 $0.05(≈55 秒 H100 时间)；缓存持有成本在 GPU 显存约 4.5 分钟就打平，CPU 内存约 1.6 小时打平，SSD 则要 2.2 天。所以选 5 分钟还是 1 小时，本质上是在告诉 Anthropic 把你的缓存放哪种存储介质上。