RTX 5080 16GB 跑 Qwen 27B 真 Q4：61K 上下文 13 tok/s 调优实录

nofuture09 · reddit · 2026-09-02

Reddit 用户分享在 RTX 5080 16GB 上本地运行 Qwen3.8-27B 的完整调优过程，目标是保住真 Q4KM 量化的同时实现深上下文可用：

硬件与配置：RTX 5080 16GB + i5-14600K + 64GB DDR5，Unsloth UD-Q4KM 量化（16.46GB），官方 llama.cpp b10760 CUDA 构建，65,536 上下文，Q40 KV cache + Flash Attention，Pi 作为编码 agent。
关键技巧——选择性 FFN offload：把 16 个最大的 FFN 张量组（约 2.764 GiB）移到 CPU，attention/KV 与其余张量留 GPU；相比 LM Studio 的整层 offload（约 6.6 tok/s），达到稳定 13.2 tok/s@50-61K 上下文，4/4 检索全部命中。
意外发现：MTP 投机解码在此场景反而拖慢速度（MTP1 8.65、MTP3 7.81 tok/s），作者推测是 CPU draft 与溢出到内存的 FFN 争抢内存带宽。
补充说明：近期热传的 5080 上 75 tok/s 结果用的是 IQ3S FFN 的自定义量化，属速度换精度；作者坚持真 Q4 并公开了完整启动脚本、张量 override、Pi 配置、基准脚本与失败方案（GitHub 仓库）。
局限：检索测试为合成 prompt，编码任务是冒烟测试而非 SWE-bench，结果对内存带宽与 llama.cpp 版本敏感。

「编程与Agent」频道最新