Reddit 网友为 7900XTX 定制 llama.cpp：27B Q8 跑出 1600tk/s 预填充

nasone32 · reddit · 2026-09-08

一位 Reddit 用户发布了针对 AMD 7900XTX（单卡/双卡）深度优化的 llama.cpp 定制构建，目标是让 Qwen 系列模型在消费级 ROCm 平台上跑出可用速度。

核心成绩：

Qwen 3.8 Next Q3KXL：双卡 pp8192 达 920tk/s，正文生成 24-27tk/s，代码 40+tk/s
Qwen 3.8 27B Q80：pp8192 达 1600tk/s，正文 60-65tk/s，代码 100+tk/s（其中一卡还在芯片组后的 PCIe x4 上）
Qwen 3.6 27B Q4KM 单卡：pp8192 约 1020tk/s，正文 58-60tk/s

关键技术点：

自定义 HIP allreduce 路径，让位于芯片组后的卡也能开 tensor parallel
卡间 PCIe 传输数据压缩到 Q80 节省带宽
集成 RDNABOOST 修复与 --adaptive-mtp（按接受率自动调 MTP n-max）
支持尚未上游合并的 PR：如 lazy PLE 路径带来 +58.88% Flash 提升、GPU MoE expert cache 解码 +19.95%、DFLASH2 tensor parallel 支持等

作者在 Ubuntu 24 + ROCm 7.14 测试，不提供支持，希望这些补丁最终被上游合并。项目地址：github.com/nasone32/llama.cpp-RDNA3-7900xtx-opt

「Infra」频道最新