KV cache 决定一切:agent 成本大头是重读上下文,供应商几乎零成本

AccBalanced · x · 2026-11-21

@CompleteSkeptic 发布长文《(KV) Cache Rules Everything Around Me》,GergelyOrosz 转发并附上自己关于 speculative decoding 的深度分析,称这「全是关于编码场景,与推理是惊人地契合,厂商可不想让你知道」。

文章核心论点:

这是一篇值得所有重度 agent 用户阅读的推理经济学科普,直接关系到 API 账单。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →