llama.cpp 增加 Q8_0 支持

pmttyji · reddit · 2026-07-15

ggml-zendnn 为 llama.cpp 增加了 Q80 量化支持，并在多组模型上对比了 GGML CPU 与 ZenDNN 的吞吐表现。

结果要点

• 在 prompt processing 阶段，ZenDNN 的提升很明显，尤其是更长 prompt 下收益更大。
• decode 阶段（tg128）与 ggml-cpu 基本持平。
• 测试模型包括 Llama-3.1-8B-Instruct、Mixtral-8x7B、gemma4 31B、gemma-4-26B-A4B-it。

代表性数据

• Llama-3.1-8B-Instruct：256 prompt 下从 472.28 t/s 提升到 730.87 t/s，增幅 54.75%；2048 prompt 下增幅接近 92%。
• Mixtral-8x7B：2048 prompt 下从 150.11 t/s 提升到 470.41 t/s，增幅 213.38%。
• gemma4 31B：2048 prompt 下从 106.37 t/s 提升到 222.32 t/s，增幅 109.01%。
• gemma-4-26B-A4B-it：提升相对较小，2048 prompt 下约 14.20%。

结论

• ZenDNN 对长 prompt 的预处理阶段提速显著。
• 这类优化更偏向推理栈和本地部署性能，而不是模型本身能力变化。

原文链接 →

「Infra」频道最新

• 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
• PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
• 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
• 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
• SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
• 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11

更多「Infra」频道 AI 资讯 →