2500 美元本地装机实测：27B 模型 150 tokens/s，GLM-5.3-Flash 可跑

开发者 casperhansen 分享一套约 2500 美元的本地推理主机配置：二手 RTX 3090（24GB）+ 64GB DDR5-5600 + 二手 SN850X 与 Ryzen 处理器，并公布各量化档位实测速度。其中 Qwen3.8 27B（3.5bpw）约 150 tokens/s；该方案还能把 328GB 的 GLM-5.3-Flash 压缩到 125GB 实现本地运行，展示了低成本单卡跑大模型的可行性。

2026-11-05 ~ 2026-11-05 · 2 条相关