推理引擎 Resin 新增 KV cache 分层存储，可用 CPU 内存扩 GPU 显存

andersonbcdefg · x · 2026-10-31

开源推理引擎 Resin 宣布支持 KV cache 分层存储（tiered storage）：当 KV cache 与 recurrent state 被逐出 GPU 显存后，可溢出到主机 CPU 内存等其他层级，并通过异步取回复用。

实现上，Resin 的 Engine 负责前缀匹配与 device page 生命周期，storage provider 在设备缓存池之外保存不可变 checkpoint。内置有上限的 CPU DRAM provider（如 MemoryCacheStorage(maxbytes=...)，用 pinned host memory），且由于「只是代码」，也可自行接 SSD、Mooncake 等其他存储层级，统一走 lookup/store/load 接口。