缓存命中率仅差 5%,Token 成本为何暴增 3-4 倍?

Xianbao_QIAN · x · 2026-08-04

作者从缓存命中率的新视角分析了 DeepSeek 模型的吸引力。表面上看，90% 和 95% 的缓存命中率似乎只有 5% 的微小差距，但对最终花费的影响却极其显著。

假设缓存命中与未命中的价格差异为 50 倍，通过公式计算可以得出：这 5% 的命中率差异，实际上会让 Token 的均摊成本飙升 3 到 4 倍。作者借此赞赏了 DeepSeek 长期致力于缩小 KV Cache 并延长其保存时间的工程优化，这为用户省下了真金白银。