SGLang HiCache 破解 Agent 服务的 KV cache 瓶颈:命中率 30%→95%

AccBalanced · x · 2026-11-03

lmsys 发布 SGLang HiCache 跨并行与分布式服务的新博客。Agentic 负载会在多次模型调用间复用长前缀，KV cache 成为其服务最大瓶颈。HiCache 让前缀复用兼容 context parallelism、pipeline parallelism、speculative decoding 和 PD 分离部署，并统一了跨并行配置的 KV 布局。实战数据：科大讯飞 Astron MaaS 团队用 GLM-5.1/5.2 跑 agentic CodingPlan 负载（输入普遍 30K–200K、最高 1M tokens），接入外置存储的 HiCache 后，多轮 agent 工作负载的缓存命中率从 30% 升至 95%，中位 TTFT 显著下降。

所属事件:SGLang 推出 HiCache 分布式缓存，KV 命中率大幅提升(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →