$3000 搭 128GB 显存家用推理服务器:Qwen3.8-next 跑出 1300 tps prefill
Thin_Pollution8843 · reddit · 2026-09-14
- 作者完成了 homemade 推理服务器:总价约 $3000(不含已有 SSD),128GB 显存 + 256GB DDR4 内存。
- 配置:4×RTX V620($1400)、256GB DDR4 RDIMM 2666($610)、Huanandzhi D12D 主板($410)、EPYC 7452($170)、ASRock 1600W 电源($220)、机箱风扇杂项约 $200。先试过联想 P620 工作站,因大量专有部件体验差而退货。
- 功耗实打实:prefill 700–900W,decode 500–600W(跑 Qwen3.8-next-flash Autoround W4A16)。
- 实测成绩:vllm fork + MTP-2 下,128k+ 上下文实现约 1300 tps prefill,代码生成 70 tps / 散文 60 tps。作者起初对 Qwen3.8-27b 的速度失望,换 Qwen3.8-next 后满意,期待后续优化。
「Infra」频道最新
- 二手 RTX 5090 挂到 £3900/约 5200 美元，价格离谱 — julianharris · 2026-09-14
- 亚马逊微软在电力之争中站队社区对抗公用事业公司 — pstAsiatech · 2026-09-14
- 双 3090+4 张 P100:Reddit 网友晒本地 LLM 全家桶求改造建议 — FearFactory2904 · 2026-09-14
- 纯 SQLite 打造编码助手持久记忆:32MB 内存毫秒级查询 — Rude_Gate7599 · 2026-09-14
- Q2 全球前十大晶圆厂营收 535 亿美元,台积电独占 72.5% 份额 — Beth_Kindig · 2026-09-14
- RTX 3090 24G 单卡跑 Qwen3.8 27B INT4，144K 上下文 71/75 评测 — Altruistic_Heat_9531 · 2026-09-14