NVIDIA 披露 agent 推理缓存账：Claude Code 命中率 85-97%，读写比 11.7 倍
_ScottCondron · x · 2026-08-23
NVIDIA 技术博客发布《Full-Stack Optimizations for Agentic Inference with Dynamo》，讲如何让自托管开源模型获得托管 API 级的 agent 推理优化。
为什么难：编码 agent 正在生产环境大规模写代码——Stripe 的 agent 每周产出 1300+ PR，Ramp 30% 的合并 PR 来自 agent，Spotify 每月 650+。Claude Code 一个会话要发数百次 API 调用且每次携带全部对话历史，KV cache 压力巨大。
关键数据：首次调用写入对话前缀后，后续调用可命中 85-97% 缓存；4 个 Opus 队友协作时聚合命中率 97.2%，读写比达 11.7 倍——典型的 write-once-read-many 模式。核心优化目标就是最大化跨 worker 的缓存复用、保持 KV 块温热可路由。
Dynamo 的做法：从三层把 Dynamo 做成 agent-native——前端 API、路由器和 KV cache 管理，让自建 GPU 集群也能拿到托管基础设施才有的 prefix 匹配、缓存放置与驱逐能力。
所属事件:NVIDIA 披露 Agent 推理优化：缓存命中率高达 97%(2 条相关)→
「编程与Agent」频道最新
- AdaL 推出免费 Loop Engineering 课程：教你用 AI Agent — Zachly · 2026-08-23
- MIT 教授用 AI Agent 团队从设计到制造实物 — ProfBuehlerMIT · 2026-08-23
- Exa 如何节省 Agent 浏览与解析的算力成本 — yoimnotkesku · 2026-08-23
- App Store Connect CLI 4.8.0 发布：新增一键诊断 Xcode Cloud 故障功能 — rudrank · 2026-08-23
- AI 已编写几乎所有代码，工程师转向高层设计 — deanwball · 2026-08-23
- 耗时 10 小时花费 1 万美元的 AI 漏洞扫描 — scaling01 · 2026-08-23