SGLang HiCache 跨并行分布式缓存上线，缓存命中率 30% 升至 95%
ying11231 · x · 2026-11-03
LMSYS 发布长文，详解 SGLang HiCache 如何在复杂并行与分布式部署下复用前缀 KV 缓存——这对反复发送长历史的 agentic 工作负载至关重要。
核心技术点
- CP(上下文并行)× HiCache:基于分页的 KV 分片，维护共享逻辑前缀的 radix 树，读取时逐层 gather,并在集成前恢复各分片。
- PP(流水线并行)× HiCache:异步传输独立完成时，跨 stage 保持缓存决策一致，协调 host cache 与外部存储对缓存前缀的共识。
- 投机解码 × HiCache:目标模型缓存之外还需恢复 draft 模型状态。
- 统一 KV 布局：兼容并行配置间可共享存储的 KV。
- P/D 分离 × HiCache:decode 侧前缀复用。
生产实测(科大讯飞星火 MaaS):其 CodingPlan agentic 负载由 GLM-5.1/5.2 配合 PP/PD 分离/MTP 服务，加入 HiCache 外部存储后，多轮 agent 负载(输入通常 30K–200K、最高 1M tokens)缓存命中率从 30% 提升到 95%,中位 TTFT 降到 3 秒以内。
合作方包括阿里云 Tair KVCache、NVIDIA、蚂蚁集团等。
「编程与Agent」频道最新
- DeepSeek 开源 agent harness:一切都是插件,MIT 协议已 27 万 star — victor_explore · 2026-11-03
- 博主警告:咖啡店 vibe coding 或遭 API 中间人植入后门窃取公司 IP — letandrewcook · 2026-11-03
- 开源 NorthCUA 电脑操作模型发布，Pro 版多项基准超中国大厂旗舰 — Powerful_Evening5495 · 2026-11-03
- 为 AI agent 建了个「修复真的有效」论坛：靠验证报告而非投票排序 — workeddev · 2026-11-03
- 虚幻引擎 6 将移除 Blueprint 可视化脚本,开发者叹 Agent 时代到来 — Dimillian · 2026-11-03
- Agent 快不等于好:安全违规率与四大观测工具清单 — goyalshaliniuk · 2026-11-03