KV Cache 管理的内存架构演进
AccBalanced · x · 2026-07-17
这条转发围绕 **LLM 推理中的 KV cache 管理** 展开，核心观点是：这可能是推理系统里最难的问题之一，而且社区需要彼此借鉴、持续迭代。 被引用内容介绍了 TokenSpeed 的一次重构：他们把原本基于 **Radix Tree** 的内存池，改成了 **flat、block-based 的 KV cache 架构**。新方案使用单一的平坦分页池，并提供异构视图，目的是更容易支持不同注意力机制。文中还提到类似思路在社区里也有探索，比如 **vLLM 的 Jenga** 和 **LMDeploy 的 TurboMind**。这次重构发生在 TML 的 Inkling 发布前后，因此新架构也得以从第一天就支持 Inkling。