用 SSD 流式加载专家提速
gajesh · x · 2026-07-19
有人给出一种把 **Kimi K3** 跑到 **1t/s** 的便宜思路：当显存接近上限时，可以用 **SSD streaming of experts**，把部分专家从 SSD 按需流式加载。 他还指出，Mac 机器的 SSD 读取速度可到 **7GB/s**，暗示这种方案在某些场景下有现实可行性。配图则是 Micron 的数据中心 SSD 页面，强调高带宽存储对 AI 推理/训练的重要性。
gajesh · x · 2026-07-19
有人给出一种把 **Kimi K3** 跑到 **1t/s** 的便宜思路：当显存接近上限时，可以用 **SSD streaming of experts**，把部分专家从 SSD 按需流式加载。 他还指出，Mac 机器的 SSD 读取速度可到 **7GB/s**，暗示这种方案在某些场景下有现实可行性。配图则是 Micron 的数据中心 SSD 页面，强调高带宽存储对 AI 推理/训练的重要性。