AI Infra 演进：KVCache 与 SSD 正重塑推理数据路径
量子位 · wechat · 2026-08-07
随着大模型进入长上下文与多智能体阶段，AI 基础设施正从单纯“堆算力”转向“计算、网络、内存与存储协同”。月之暗面 Mooncake 与 NVIDIA CMX 代表了这一趋势：将推理状态（如 KVCache）作为一级资源，纳入 Token 生成的实时主链路。
文章指出，传统 SSD 无法满足大模型严格的时序约束，由此催生了“AI SSD”。目前市场分化出两条核心路线：
- AI 负载强化型 SSD：保持标准块存储形态，提升带宽、耐久性与容量（如英韧、华为）。
- 推理参与型 AI SSD：让存储深度参与运行时管理。群联通过专用缓存盘与中间件扩展显存；江波龙利用 SPU 与 iSA 实现存储侧智能调度；寅谱-联芸则从底层系统协同出发，按模型执行逻辑精准调度数据。
AI SSD 的竞争最终将是完整数据路径与软硬件生态的较量。
「Infra」频道最新
- SK海力士2Q26业绩预测不及预期，HBM占比与LTA效应压低ASP涨幅 — zephyr_z9 · 2026-08-07
- 50 人团队如何自建私有 RAG 系统？Mac Mini 集群方案探讨 — rogo725 · 2026-08-07
- 谷歌 TPU v7 并未低价出售，算力硬件成本居高不下 — zephyr_z9 · 2026-08-07
- 2900美元换64G显存？开发者纠结AMD显卡升级方案 — milkipedia · 2026-08-07
- 独立开发者控诉：Meta AI 爬虫疯狂抓取，致服务器过载 — Polymarket · 2026-08-07
- 曝 DeepMind 仅获 GCP 15% 算力，引发内部资源分配担忧 — zephyr_z9 · 2026-08-07