llama.cpp 增加 Q8_0 支持
pmttyji · reddit · 2026-07-15
ggml-zendnn 为 `llama.cpp` 增加了 **Q8_0 量化支持**，并在多组模型上对比了 GGML CPU 与 ZenDNN 的吞吐表现。 ### 结果要点 - 在 **prompt processing** 阶段，ZenDNN 的提升很明显，尤其是更长 prompt 下收益更大。 - **decode** 阶段（`tg128`）与 ggml-cpu 基本持平。 - 测试模型包括 **Llama-3.1-8B-Instruct**、**Mixtral-8x7B**、**gemma4 31B**、**gemma-4-26B-A4B-it**。 ### 代表性数据 - Llama-3.1-8B-Instruct：256 prompt 下从 **472.28 t/s** 提升到 **730.87 t/s**，增幅 **54.75%**；2048 prompt 下增幅接近 **92%**。 - Mixtral-8x7B：2048 prompt 下从 **150.11 t/s** 提升到 **470.41 t/s**，增幅 **213.38%**。 - gemma4 31B：2048 prompt 下从 **106.37 t/s** 提升到 **222.32 t/s**，增幅 **109.01%**。 - gemma-4-26B-A4B-it：提升相对较小，2048 prompt 下约 **14.20%**。 ### 结论 - ZenDNN 对长 prompt 的预处理阶段提速显著。 - 这类优化更偏向推理栈和本地部署性能，而不是模型本身能力变化。