KV cache 决定一切:agent 成本大头是重读上下文,供应商几乎零成本
AccBalanced · x · 2026-11-21
@CompleteSkeptic 发布长文《(KV) Cache Rules Everything Around Me》,GergelyOrosz 转发并附上自己关于 speculative decoding 的深度分析,称这「全是关于编码场景,与推理是惊人地契合,厂商可不想让你知道」。
文章核心论点:
- agent 对开发者最大的成本是反复重读自己的上下文,而这对服务商来说几乎零成本——是毛利最高的部分;
- 解释了为什么大家在 agent 上花这么多钱、推理为何突然变得暴利、以及为什么这种暴利不会持久;
- 解释了为什么 LLM 路由(routing)行不通;
- KV cache 还大幅限制了编码 agent 的设计空间。
这是一篇值得所有重度 agent 用户阅读的推理经济学科普,直接关系到 API 账单。
「编程与Agent」频道最新
- MIT/斯坦福等办 WSDM Cup:AI 写 Community Notes 赛题开赛,奖金 1 万美元 — sanmikoyejo · 2026-11-21
- 用 Astra 6.0/6.2 一句话生成 GTA 风开放世界,单次跑 15–18 分钟 — Beanyy_Weenie · 2026-11-21
- 单块 TPU 跑多轮智能体 RL:Gemma 4 E2B 胜率从 9.4% 练到 95% — Saboo_Shubham_ · 2026-11-21
- 开源模型路由器把 prompt cache 算进切换决策,避免越切越贵 — Broad_Abies9390 · 2026-11-21
- 阶跃星辰发布 Step 5 Preview,聚焦智能体可靠性与成本 — StepFun_ai · 2026-11-21
- AI 一周做游戏惹争议,独立开发者怒斥 demo 被吹成成品 — AIandDesign · 2026-11-21