用 RAID10 双阵列本地跑 GLM 模型:冷加载约 1 分钟

TheZachMueller · x · 2026-10-13

开发者 TheZachMueller 分享自己的本地大模型推理存储方案:使用两组独立的 RAID10 阵列,较小的做 scratch 临时盘,较大的存放活跃模型权重。

他称以该配置冷加载 GLM 5.3 Flash 的 NVFP4 量化版本约需 1 分钟,并计划改用 NVMe-oF 后进一步提升速度。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →