AI Infra 演进：KVCache 与 SSD 正重塑推理数据路径
量子位 · wechat · 2026-08-07
随着大模型进入长上下文与多智能体阶段，AI 基础设施正从单纯“堆算力”转向“计算、网络、内存与存储协同”。月之暗面 Mooncake 与 NVIDIA CMX 代表了这一趋势：将推理状态（如 KVCache）作为一级资源，纳入 Token 生成的实时主链路。
文章指出，传统 SSD 无法满足大模型严格的时序约束，由此催生了“AI SSD”。目前市场分化出两条核心路线：
- AI 负载强化型 SSD：保持标准块存储形态，提升带宽、耐久性与容量（如英韧、华为）。
- 推理参与型 AI SSD：让存储深度参与运行时管理。群联通过专用缓存盘与中间件扩展显存；江波龙利用 SPU 与 iSA 实现存储侧智能调度；寅谱-联芸则从底层系统协同出发，按模型执行逻辑精准调度数据。
AI SSD 的竞争最终将是完整数据路径与软硬件生态的较量。
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16