DeepSeek 本地部署实战:4 张 W7900 还是两张 Blackwell?
Retumbo77 · reddit · 2026-08-24
一位用户正在权衡 DeepSeek 0731 Q4 模型的本地硬件配置方案。原计划升级至 6 张 RTX 3090(约 7000 美元),现在考虑换成 4 张 AMD W7900 48GB 或两张 RTX 5000 Blackwell 72GB(约 14000 美元)。目标是将模型作为编排器以 Agent 模式调用其他实例。用户询问在 Vulkan 或 ROCm 驱动下,这些“非主流”配置的实际推理速度(tokens/秒)如何。
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型:大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15