R9700 专用量化提速 5.8%
alphatrad · reddit · 2026-07-18
作者为三张 **Radeon AI PRO R9700** 调校了专用量化格式 **Q8_0_ROCMFPX**，目标是在 `gfx1201` 上比通用 Q8 更快。 ### 结果 - 模型体积比 upstream Q8_0 小 **2.94%** - HumanEval：**140/164**，与原版打平 - 全模型解码：**5.77%–5.87%** 更快 - 等工作量测试：中位数 **5.82%** 更快，17/18 组配对胜出，p=0.000965 - 端到端 agent 总耗时：仅 **2.21%** 更快，未达到作者预设的 3% 阈值 ### 约束 - 目前**不能**在 upstream `llama.cpp`、Ollama、LM Studio、vLLM 上直接跑 - 需要作者锁定的 **ROCmFPX fork** 和源码编译 - 这套调优主要对 `gfx1201` / R9700 有效，对 NVIDIA 或其他 AMD 卡帮助有限 作者还给出了完整实验仓库，表示如果更多人复现并对比 stock Q8，会很有帮助。