家庭 GPU 机架换 EPYC 平台:GLM/DeepSeek 解码速度提升 4 倍的完整调优记录
mrgreatheart · reddit · 2026-11-01
作者在 GPU 不变的前提下(RTX 3090 + 5070 Ti + 2×5060 Ti),把平台从 Core Ultra 7 + Z890(64GB DDR5 双通道)换成 EPYC 7443(24 核)+ Supermicro H12SSL + 256GB DDR4 ECC 八通道,并记录了全部调优细节与前后数据。
关键调优点:
- BMC 风扇阈值(420 RPM)高于静音风扇怠速导致反复拉满,用 ipmitool sensor thresh 下调后解决
- 内存从 2666 超到 3200:Triad 带宽 88.6→102 GB/s,GLM 解码 +3–5%
- 内核参数 iommu=pt:tensor-parallel llama.cpp prefill +3.5%,NVMe 随机读恢复
- BIOS:APBDIS=1 锁 Infinity Fabric 全速、开 Resizable BAR(BAR1 原来只有 256MiB)、Ten Bit Tag,合计再 +4%
- llama.cpp -ub 1024:无 P2P 时两卡经系统内存中继,加大 micro-batch 减半中继次数,Qwen3.8-27B +5%
无效/有害项:performance governor 无变化、NCCLSHMUSECUDAMEMCPY=1 会挂死、CPU expert 线程超 16 无收益。
最终成绩:GLM-5.3-Flash 解码 9.7→41 tok/s(4.2×),29K prefill 577→1069;DeepSeek-V4.1-Flash 解码 9.3→35.2 tok/s(3.8×);RAM 带宽 +73%,PCIe 带宽约翻倍。
「Infra」频道最新
- AI 股票 10 月跌 13%,华尔街追问数据中心巨额投资何时回本 — Saul_Loveman · 2026-11-01
- 本地语音转写模型横评：Nemotron 3.5 击败 Fable 居首 — CryptoxPathy · 2026-11-01
- 旧 PC 换两张 R9700 包装成「AI 主机」，750 欧滞销变 5400 欧秒出 — sernamenotdefined · 2026-11-01
- 网友设想 OpenAI 算力园区：余热烧水泡茶、供桑拿休闲 — emax · 2026-11-01
- 14GB 核显笔记本跑通 22B 视频模型，Vega 7 iGPU 扩散全攻略 — shirosoro · 2026-11-01
- Intel EMIB 良率仅 60–65%，远逊台积电 CoWoS 的 98% — rickasaurus · 2026-11-01