实测：Agent 框架缓存命中率差 7 倍，一次缓存未中能耗翻倍

bibryam · x · 2026-10-25

Neuralwatt Cloud 分析了一个月生产流量，发现调用模型的 agent harness 对推理能耗影响远超想象：

各客户端未命中缓存比例差异巨大：deepseek-harness 仅 1.6%，而 Node.js 应用高达 11.1%；92% 缓存率意味着每 100 个输入 token 有 8 个要重算，97% 时只有 3 个，prefill 工作量相差约 2.7 倍。
缓存未中约使单请求能耗翻倍：未缓存输入低于 10% 的请求能耗约为正常请求的 2 倍，在 GLM-5.3 上约 2.5 倍。
深度会话代价极高：超过 128k token 后，一轮重读超过一半 prompt 的 prefill 成本约等于该深度下 600 轮正常对话。
问题可修复：实验室测试中所有缓存断裂都源于 harness 修改了已发送内容，迫使模型从第一个差异处重读全部 prompt。

作者认为推理效率讨论通常只关注模型（激活参数、注意力机制）和硬件（H200/B200/B300），但客户端 harness 同样值得审视。

「编程与Agent」频道最新