$3000 搭 128GB 显存家用推理服务器:Qwen3.8-next 跑出 1300 tps prefill

Thin_Pollution8843 · reddit · 2026-09-14

作者完成了 homemade 推理服务器:总价约 $3000(不含已有 SSD),128GB 显存 + 256GB DDR4 内存。
配置:4×RTX V620($1400)、256GB DDR4 RDIMM 2666($610)、Huanandzhi D12D 主板($410)、EPYC 7452($170)、ASRock 1600W 电源($220)、机箱风扇杂项约 $200。先试过联想 P620 工作站,因大量专有部件体验差而退货。
功耗实打实:prefill 700–900W,decode 500–600W(跑 Qwen3.8-next-flash Autoround W4A16)。
实测成绩:vllm fork + MTP-2 下,128k+ 上下文实现约 1300 tps prefill,代码生成 70 tps / 散文 60 tps。作者起初对 Qwen3.8-27b 的速度失望,换 Qwen3.8-next 后满意,期待后续优化。

「Infra」频道最新