SGLang 推出 HiCache 分布式缓存，KV 命中率大幅提升

LMSYS 发布博客介绍 SGLang HiCache，该功能可在复杂并行与分布式部署下跨服务复用前缀 KV 缓存。Agentic 工作负载会在多次模型调用间反复发送长历史，KV cache 由此成为服务瓶颈，HiCache 将缓存命中率从 30% 提升至 95%，显著改善此类负载的推理效率。

2026-11-03 ~ 2026-11-03 · 2 条相关

• SGLang HiCache 跨并行分布式缓存上线，缓存命中率 30% 升至 95% — ying11231 · 2026-11-03

另有 1 条近重复转述:AccBalanced