本地推理装机:Epyc 7443 + 四卡 72GB VRAM,总显存 328GB
mrgreatheart · reddit · 2026-10-09
一位本地 LLM 玩家分享了从社区征询建议后落地的 Epyc 推理主机配置:
- CPU:Epyc 7443(24 核 48 线程,128 条 PCIe lane)
- 主板:H12SSL-NT-B(双 10GbE)
- 内存:256GB 2666MHz 2Rx4
- GPU:3090(24GB)+ 5070 Ti(16GB)+ 两张 5060 Ti(16GB),共 72GB VRAM
升级收益:四卡 PCIe 带宽翻倍(5060 Ti 从 x4 到 x8,其他从 x8 到 x16),全部走 CPU 直连 lane;内存带宽从 96GB/s 提升到理论 170GB/s(实测约 140);总内存 64GB→256GB,连同 VRAM 合计约 328GB。作者期待 prompt processing 因链路带宽提升而加速,并希望跑下 GLM5.3-flash 和更大的 Qwen3.8-flash-next 量化,在帖中征求同类装机的 MoE 大模型运行经验。
「Infra」频道最新
- AI 算力需求爆发，Oxide Computer 获 4.45 亿美元 D 轮融资 — Sethwinterroth · 2026-10-09
- Datology AI 推出 Curation Studio：数据质量是算力乘数 — schwarzjn_ · 2026-10-09
- AI2 拆解 GPU 集群调度：时间预算与公平份额如何提速科研 — Hugging Face Blog · 2026-10-09
- 同款 GPU 加拿大贵两成:出「蒙特利尔溢价」,H100 每小时贵 23% — RichardsonDx · 2026-10-09
- Supabase 大更新：收购 Turso，让编码智能体接管后端搭建 — glcst · 2026-10-09
- Epoch AI：AI 推理成本每季降 47%，比电力时代快 54 倍 — Jsevillamol · 2026-10-09