InferSSD 从 SSD 流式读取 MoE 专家，显存不够也能跑大模型

AIFlow_ML · x · 2026-11-15

开源项目 InferSSD（基于 llama.cpp）实现了「模型比显存/内存还大也能跑」：把 MoE 模型的专家权重放在 SSD 上，推理时按需流式读取。项目已能直接使用现成 GGUF 权重运行 Qwen3.6-35B 与 Qwen3.8 Flash Next，支持 macOS/Metal、Linux/CUDA，Windows 支持开发中，Apache-2.0 协议，GitHub 已获约 1.1k star。

对本地部署玩家的意义：MoE 架构下每次只激活少量专家，SSD 顺序读速度足以支撑，内存吃紧的设备有了新的低成本跑大模型路径。