KV cache 揭秘：agent 最大成本是重读上下文，服务方几乎零成本

hackgoofer · x · 2026-09-10

@CompleteSkeptic 发布长文《(KV) Cache Rules Everything Around Me》，指出 agent 开发者付的最大成本来自模型反复读取自己的上下文（KV cache），而这对服务方几乎零成本——解释了 agent 为什么贵、推理为何突然暴利且难以持续、以及为什么模型路由不奏效。KV cache 还大幅限制了编码 agent 的设计空间。

要点

• agent 的核心开销是重复读取自身上下文，缓存命中可大幅降费
• 推理的高利润率部分来自缓存差价，且不可持续
• 路由方案在缓存逻辑下行不通
• 对开发者的实操建议：密切监控 cache 命中率与工具调用次数；规模化跑 agent 可考虑自托管，把缓存省钱留给自己

原文链接 →

「编程与Agent」频道最新

• kafka-mcp 上线:让 LLM Agent 检查 Kafka 主题并安全重置消费位点 — modelcontextprotocol · 2026-09-10
• 开源 agent eve 上线一等公民记忆，支持跨会话保留上下文 — cramforce · 2026-09-10
• HuggingFace 推出 ML Intern：对话式智能体替你跑完整训练流程 — Thom_Wolf · 2026-09-10
• Merge 上线 Agent Handler:一次无认证请求即可为 AI agent 开通数千工具 — shensi · 2026-09-10
• 别靠 prompt 猜运动:用 Blender 3D 动画锁定 AI 视频生成轨迹 — round · 2026-09-10
• 餐厅 POS 分析 Agent 实战:route→fetch→narrate→ground 四步架构求挑刺 — RedaHaloubi · 2026-09-10

更多「编程与Agent」频道 AI 资讯 →