NVIDIA 与 Solidigm 重写存储规则：允许丢失的 KV Cache
shashib · x · 2026-08-02
NVIDIA 与 Solidigm 正联合设计一种直接置于 GPU 内存层级中的固态硬盘，以应对大语言模型中不断膨胀的 KV cache。
核心逻辑在于：由于高带宽内存（HBM）成本高达每 TB 一万美元，将溢出的上下文推送到闪存上更为划算。这种新架构允许存储设备丢失部分数据字节，因为在此场景下，数据丢失仅意味着触发重新计算，而不再被视为严重的数据损坏事件。
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16