用 RAID10 双阵列本地跑 GLM 模型:冷加载约 1 分钟
TheZachMueller · x · 2026-10-13
开发者 TheZachMueller 分享自己的本地大模型推理存储方案:使用两组独立的 RAID10 阵列,较小的做 scratch 临时盘,较大的存放活跃模型权重。
他称以该配置冷加载 GLM 5.3 Flash 的 NVFP4 量化版本约需 1 分钟,并计划改用 NVMe-oF 后进一步提升速度。
「Infra」频道最新
- Intel 新 GPU 定名 D 系列,「Crescent Island」最高配 480GB LPDDR5X — Monad_Maya · 2026-10-13
- Applied Materials 发布会设硅到系统面板,NVIDIA 首席科学家谈 AI 算力跃迁 — BenBajarin · 2026-10-13
- 扎克伯格:自建数据中心是财务优势,折旧完的 H100 反而更值钱 — BrentM_BuildGuy · 2026-10-13
- NVIDIA 提出 LoGRA:RL 训练显存省 45.7%,比 LoRA 还低 — omarsar0 · 2026-10-13
- 从零造 GPU 编译器:PyTorch 到 CUDA 的六级 IR 降级全解析 — NoVibeCoding · 2026-10-13
- Neocloud 整合地图:物理资产与平台深度是两条独立路线 — AccBalanced · 2026-10-13