腾讯开源 FlexKV 分布式 KV 缓存:TTFT 最高降 70%,吞吐提升 16%

Roger_M_Taylor · x · 2026-09-17

腾讯云 TACO 团队联合社区开源 FlexKV,一个面向大规模 LLM 推理的分布式 KV 缓存与多级缓存管理系统,已在 GitHub 发布(Apache-2.0)。

针对的核心问题:长上下文场景下,KV 缓存放在 GPU 显存之外时,取回数据的速度常让 GPU 干等——缓存命中了也白搭。

关键技术点:

• 分层恢复:前面的层边算,后面的层边加载
• 预取 + 异步回写:把缓存 I/O 与推理计算重叠
• 无损压缩 KV,用 CPU 内存、SSD、远端存储扩展缓存容量
• 集群级前缀复用,并把请求路由到缓存所在位置
• 作为推理引擎下挂层,无需改动现有架构,兼容 SGLang、vLLM、TensorRT-LLM、Dynamo

实测效果:TTFT(首 token 延迟)最高降低 70%,吞吐提升 16%。

原文链接 →

「Infra」频道最新

• B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
• vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
• Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
• CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
• 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
• 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02

更多「Infra」频道 AI 资讯 →