实战:让 vLLM Prefix Cache 在 Agent 多轮间保持命中
bolts98 · reddit · 2026-09-17
一篇工程博客讲解如何在 agent 多轮对话中保持 vLLM 的 prefix cache 命中，避免每轮重复计算 KV cache。要点:
- agent 每轮在上下文后追加新内容，prefix cache 理论上可复用此前所有 token 的 KV，但实践中常因请求被路由到不同 worker 或上下文被重排而失效
- 作者分析了 cache 失效的常见原因，并给出保持前缀稳定、会话亲和(session affinity)与缓存预热的具体做法
- 对多 agent / 长对话场景可显著降低延迟与算力开销
所属事件:vLLM 实战：让 Prefix Cache 在 Agent 多轮对话间保持命中(2 条相关)→
「编程与Agent」频道最新
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Sketchy v0.1.6:图表输出比纯文本省 29% token — Nkgsporty · 2026-11-02
- Miles Cranmer 讲座:AI 用对是苏格拉底导师,用错是大脑萎缩 — _ScottCondron · 2026-11-02
- Scrapling 爬虫框架星标破 9.2 万,支持 MCP Server 接入 AI 工作流 — D4Vinci · 2026-11-02