一个驱动开关让 AMD 双卡 Vulkan 推理提速最高 4 倍
tabletuser_blogspot · reddit · 2026-09-28
Reddit 用户在双 Radeon GPU(MI50 16GB + RX 7900 GRE)上跑 llama.cpp Vulkan 后端时发现性能偏低,排查后总结出一套本地推理优化方法:
- 硬件布局:把 MI50 移到主 PCIe 16x 槽、RX 7900 GRE 降到 4x 槽,整体推理性能提升。
- 关键开关:RADVPERFTEST=nogttspill——AMD Linux 驱动旗标,强制 Mesa RADV Vulkan 驱动把模型分配保留在显存内、不溢出到系统内存(GTT)。
- 实测结果:多款 GGUF 模型的 pp512 提升显著,最高 +402%(Laguna-XS-2.1),gemma-4-31B 约 +398%,Muse-Glimmer-30B +387% 且 tg128 +48.6%;但部分 MoE 模型(如 Qwen3-Coder-30B-A3B)反而略有下降。
- 作者还用 Google Gemini 协助优化 llama-bench 参数,并给出了完整命令与 13 个模型的基准数据表。
对用 AMD 卡本地跑大模型的用户,这个开关值得立刻试。
「Infra」频道最新
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16