NVIDIA 与 Solidigm 重写存储规则：允许丢失的 KV Cache

shashib · x · 2026-08-02

NVIDIA 与 Solidigm 正联合设计一种直接置于 GPU 内存层级中的固态硬盘，以应对大语言模型中不断膨胀的 KV cache。

核心逻辑在于：由于高带宽内存（HBM）成本高达每 TB 一万美元，将溢出的上下文推送到闪存上更为划算。这种新架构允许存储设备丢失部分数据字节，因为在此场景下，数据丢失仅意味着触发重新计算，而不再被视为严重的数据损坏事件。