如何让 llama.cpp 正确支持多 GPU 显存
erazortt · reddit · 2026-08-22
用户在尝试使用 llama.cpp 跨越两张 GPU（一张 Blackwell 5000 48GB 和一张 3090 24GB）运行 Deepseek V3 的 120GB 量化模型时遇到性能瓶颈。尝试了包括 --split-mode layer、手动分配层张量到不同 GPU 以及调整张量并行等多种方案，但要么显存分配失败，要么推理速度反不如单卡。用户寻求关于如何正确配置多 GPU 卸载以提升性能的解决方案。
「编程与Agent」频道最新
- Vercel 后端升级:Python 正式 GA,新增容器与 Daemons — cramforce · 2026-10-16
- Datadog 发布 Scout 1.0:专攻生产事故调查的垂直模型 — tianyin_xu · 2026-10-16
- WorldMemArena 中选 NeurIPS:存储式 Agent 记忆评估遭颠覆 — xwang_lk · 2026-10-16
- Vercel Ship 现场宣布容器部署,Go/Ruby/Java 皆可上 — edwin · 2026-10-16
- TRL 零时差支持 Muse Spark Open：64 张 H100 上 LoRA 微调 816B MoE — QGallouedec · 2026-10-16
- 工程师入职首日全靠 AI 提问，第二天就能提交有影响力的 PR — Yuchenj_UW · 2026-10-16