RDNA3 定制 llama.cpp fork 让 7900 XTX 推理速度翻倍至约 100 tok/s
Jebbyk1 · reddit · 2026-11-12
作者在 RX 7900 XTX（24GB VRAM、RDNA3 架构）上用社区开发者针对 RDNA3 优化的 llama.cpp fork，跑 Qwen3.8-27B Q4KM，速度翻倍到 90-100 tok/s，且主观上无质量损失。
实测数据：
- decode 约 97-110 tok/s，代码类输出可冲到 130-150 tok/s
- prefill 约 890-1015 tok/s
- VRAM 占用 21-22GB / 24GB
关键配置：DFlash 草稿模型投机解码（--spec-type draft-dflash）、q80 KV cache、flash-attn、启用 Resizable BAR，iGPU 单独跑桌面 UI 以让全部显存留给 LLM。帖内附完整启动命令可直接复用。
「Infra」频道最新
- Anthropic 3 天在 AMD MI355X 上跑通 Claude，CUDA 护城河遭质疑 — udmrzn · 2026-11-12
- 开源推理工程指南:从 KV Cache 显存计算到 vLLM/SGLang 上线清单 — udmrzn · 2026-11-12
- 3090+64G 内存跑 QFN 量化达 70-80 t/s,作者求购 3-3.5k 欧元 Strix Halo 建议 — makkalot · 2026-11-12
- 开源 CLI 一键配置 FreeLLMAPI:验证密钥并自动生成预算均衡模型链 — biryaniwithachaar · 2026-11-12
- NVIDIA DGX Spark 上跑 ComfyUI:Docker Compose 部署方案公开 — Ok_Joke5408 · 2026-11-12
- Beff Jezos 感叹：日本连马桶都在跑 30 亿参数模型 — beffjezos · 2026-11-12