NVIDIA+AMD 混合三卡实测:多卡跑 LLM 反而比单卡更慢
LMasterGame · reddit · 2026-10-28
Reddit 用户分享混合品牌多 GPU 跑本地大模型的踩坑经验:配置为 AMD Radeon AI Pro R9700(32GB)+ NVIDIA RTX 4500 Ada(24GB),外加一块闲置的 W7800(32GB),主板为 CW-W680-NAS,144GB 内存,引擎为自编译 Vulkan 版 llama.cpp。
关键实测结果:
- 双卡 layer split 下 Qwen 3.8 Q6K 仅 30 tok/s,单卡 R9700 反而有 40 tok/s;Gemma 4 QAT 32 vs 50 tok/s;Qwen Flash Next Q4KM 9 vs 14 tok/s——双卡均显著更慢
- tensor split 结果不稳定,layer split 才有一致表现
- 推测瓶颈在较慢的 Ada 4500 或 PCIe 延迟,而非带宽(nvtop 显示最多 2GiB/s,远低于 11.45GiB/s 上限)
- 附完整 llama.cpp 配置(ctx 131072、moe-cache-mib、batch 参数等)
作者求助这些卡更适合做什么(如主从 agent 分工)。另一个有意思的点:这些 3 年前的卡因内存涨价,现在比购入时更值钱了。
「Infra」频道最新
- Artificial Analysis 复测 DeepSeek 新版:原评测变差或因 Fireworks 推理波动 — teortaxesTex · 2026-10-28
- NIST 发布后量子密码迁移指南：「先窃取后解密」风险已现实存在 — entrup · 2026-10-28
- RAG 延迟瓶颈移向检索器：Decision Model 仅需约 100ms — CShorten30 · 2026-10-28
- 开源 Infinity：把 Agent 并发当调度问题解的 Rust 运行时 — ShadajL · 2026-10-28
- vLLM 原生支持 NVIDIA Nemotron-3.5-Transcribe：转写+对话端点、FP8/NVFP4 — vllm_project · 2026-10-28
- HF《Ultra-Scale Playbook》实体书曝光：GPU 集群训 LLM 全指南 — mdancho84 · 2026-10-28