新论文:KV cache 卸载 SSD 会把闪存寿命从年缩到月,按注意力类型分级可延寿 7.3 倍
ThePrimeClock · reddit · 2026-10-26
新论文 Gandalf(arXiv:2610.30791)研究本地 LLM 推理中把 KV cache 卸载到 SSD 导致的闪存磨损问题。背景:多轮对话和 agent 等生产负载下,KV cache 写入总量远超 SSD 额定写入量,会把 SSD 寿命从数年缩短到数月;近期多个新模型已把 SSD 纳入本地推理硬件,问题愈发相关。
- 常规思路是按历史访问模式门控 KV cache 写入以减少磨损,但不同注意力类型的 cache 可能历史模式相同而未来访问模式不同,会显著降低命中率、推高服务成本。
- 论文的核心洞察:需同时利用访问模式与应用级信息(即 KV cache 的注意力类型)。
- 提出的系统 Gandalf 是首个 SSD 寿命感知的 KV cache 卸载系统,优先将全注意力(full-attention)生成的 KV cache 写入 SSD。
- 评测显示 SSD 寿命平均延长 7.3 倍,命中率几乎不受影响,且在多种负载轨迹和硬件容量范围下成立;设计还可扩展到 HBF(高带宽闪存)等其他闪存介质。
「Infra」频道最新
- Reddit 热议：AI 编程 Agent 为何难以像 Stable Diffusion 那样本地运行 — Kaporalhart · 2026-10-26
- Vjeux 参加 Muse 开放 kernel 挑战赛，多题被 colinlikescode 压制 — Vjeux · 2026-10-26
- Gary Marcus 公开押注：CoreWeave 本周会跌破 40 美元吗 — GaryMarcus · 2026-10-26
- Resin 开源推理运行时:让 AI 自动写前向传播生成定制推理引擎 — andersonbcdefg · 2026-10-26
- 新开源模型权重大小盘点:Q4 量化约 20.8GB,24G 卡可跑 — AIFlow_ML · 2026-10-26
- AWS CEO：云算力已被预订到 2027 年，AI 需求仍然爆棚 — econoar · 2026-10-26