二手件拼出本地大模型机器
molbal · reddit · 2026-07-17
这是一台“旧件拼起来”的本地 AI 机器：Supermicro X9DR3-F 主板、双 Xeon E5-2660 v2、8×32GB DDR3、RTX 3090、1000W 电源，作者按荷兰当地二手价估算总成本约几百欧。 他详细记录了装机过程中的各种翻车：eGPU dock 不兼容、服务器被快递毁坏、AliExpress 主板损坏、PSU 故障等，最终才凑出这套能启动的配置。作者也坦言为此付出了不少“sanity and patience”。 ### 跑分与配置 - 用的是 **DeepSeek V4 Flash** 的 Q4_K_XL 量化版本。 - 设定的 `ctx-size` 为 32768，但实际只拿到 **8k context**。 - 速度结果：**pp 37.47 t/s**，**tg 6.62 t/s**。 - 还贴了 `llama-server` 配置，强调自动 offload、CPU MoE、NUMA 分布等本地推理调优。