实战实测：4 盘阵列跑 LLM 达 2tok/s
carrigmat · x · 2026-08-27
针对“理论可行但软件不支持”的质疑，作者公布了基于 llama-server 的实际运行数据：
- 当前配置：4 盘 NVMe 阵列 + 768GB RAM，推理速度达到 2 tok/s。
- 预期性能：若升级至 16 盘阵列 + 2 颗 EPYC 9175F CPU，预计速度可提升至 4-6 tok/s。
作者承认当前 llama.cpp 软件尚未完全发挥 NVMe 阵列潜力，存在性能瓶颈，但通过硬件堆叠已证明方案可行性。
所属事件:六千美元纯CPU服务器本地全量跑万亿级开源模型(14 条相关)→
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15