KV Cache 管理的内存架构演进

AccBalanced · x · 2026-07-17

这条转发围绕 LLM 推理中的 KV cache 管理展开，核心观点是：这可能是推理系统里最难的问题之一，而且社区需要彼此借鉴、持续迭代。

被引用内容介绍了 TokenSpeed 的一次重构：他们把原本基于 Radix Tree 的内存池，改成了 flat、block-based 的 KV cache 架构。新方案使用单一的平坦分页池，并提供异构视图，目的是更容易支持不同注意力机制。文中还提到类似思路在社区里也有探索，比如 vLLM 的 Jenga 和 LMDeploy 的 TurboMind。这次重构发生在 TML 的 Inkling 发布前后，因此新架构也得以从第一天就支持 Inkling。