三星用CXL池化KV缓存
lauriewired · x · 2026-07-12
三星发了一篇关于 **KV-cache offload 到 CXL memory pool** 的论文/方案。 - 他们用的是早期的 **CXL 2.0** 生态、较旧的交换机和相对朴素的实验设置。 - 通过把 KV Cache 在多个 CXL 模块之间做简单交错，结果显示 GPU 的供给能接近“像真 DRAM 一样”保持稳定。 - 作者强调这不是 SOTA，但实现方式很容易复现，说明 CXL 在推理内存扩展上已经有较现实的落地价值。