256GB 八通道 Epyc 本地推理机,加一张 3090 划算吗
u_Leon · reddit · 2026-09-17
Reddit 用户在组装一台二手 256GB DDR4 八通道 Epyc 推理机（主板 Asrock ROMED8-2T，方便后续加卡），成本低于新的 128GB Strix 机器，目标是低价跑 200GB 级别的大模型（如 4-bit GLM-5.3-Flash）。纠结点：上 4×3090 提速明显但预算和功耗飙升，只加一张 3090 能否显著改善 prefill 速度？帖子在征集有同类配置经验的建议。
「Infra」频道最新
- 腾讯开源 FlexKV 分布式 KV 缓存:TTFT 最高降 70%,吞吐提升 16% — Roger_M_Taylor · 2026-09-17
- NVIDIA 上架 DeepSeek-V4.1-Flash NVFP4 量化版,MIT 协议开源 — TheZachMueller · 2026-09-17
- Bittensor 挖矿优化被 vLLM 收编,Qwen3 吞吐提升约 4% — const_reborn · 2026-09-17
- vLLM 出现 DiffusionGemma 结构化生成 PR,单机 DGX Spark 延迟亮眼 — generativist · 2026-09-17
- 新推理引擎 Atlas 亮相,实测称在 Strix Halo 上超越 llama.cpp — einthecorgi2 · 2026-09-17
- 实战:让 vLLM Prefix Cache 在 Agent 多轮间保持命中 — bolts98 · 2026-09-17