TokenSpeed重构KV缓存架构
AccBalanced · x · 2026-07-17
TokenSpeed 介绍了它的调度器重构：原来使用基于 **Radix Tree** 的内存池，但随着注意力模式变复杂，这套设计已不再适合，于是改成了 **flat、block-based 的 KV cache 架构**。 新的实现采用单一的扁平分页池，并提供异构视图，这样更容易支持不同的 attention 机制。帖子还提到，社区里也有类似思路，例如 **vLLM 的 Jenga** 和 **LMDeploy 的 TurboMind**。 这次重构大约发生在 TML 的 **Inkling** 发布前后，因此新架构可以从第一天起就支持 Inkling。作者也表示会继续和开源社区一起推进。
所属事件:LLM推理KV Cache架构演进与重构(2 条相关)→
「Infra」频道最新
- 一张图对比：Moonshot 在养心智，DeepSeek 在建电网 — teortaxesTex · 2026-07-21
- FlashRT：利用智能体优化多模态应用部署，B200延迟降低70倍 — Krish Agarwal · 2026-07-21
- Reddit 用户设计四层本地 AI 机房：vLLM 到 OPNsense 全分层 — povedaaqui · 2026-07-21
- 现货内存价飙升 140%，合约重定价开始滞后 — tengyanAI · 2026-07-21
- 有人把 AI 使用方式指向异步长周期实验而非单买算力 — voooooogel · 2026-07-21
- PrismML Bonsai 27B 量化后仅 3.8GB 可手机运行 — tony10000 · 2026-07-21