16GB 显存跑 Qwen3.8 27B 实测:IQ3 量化可撑 131k 上下文

randomgenericbot · reddit · 2026-10-07

作者分享了在 16GB 显存(5060Ti + 单通道 DDR5)上跑 Qwen3.8 27B 的完整经验。结论:可行,但不是全量模型。

要点:

推荐用 ISTA-DASLab 的 GSQ-RCO IQ3S 量化,作者与 H200 上跑的 Q8 并排对比,除速度外几乎无差别
需要自己编译支持 adaptive KV streaming 的 llama.cpp fork(大上下文时不可用 MTP,作者称 MTP 只增益约 5tps,不值)
实测速度:空上下文约 30tps,131k 上下文时降到约 9-10tps;prefill 随 prompt 长度线性下降(14k tokens 时约 880tps,94k 时约 630tps)
KV 窗口调参:1.5G 窗口较均衡,可留显存给其他任务、约 30k 上下文纯显存;Q8 KV cache 下基础版 llama 可撑 32k-68k 上下文
实操路径:先用原版 llama 加载模型,让它配合 pi.dev 之类的工具帮忙编译 fork,聊天模式复制粘贴终端输出即可,无需硬核编程能力

「Infra」频道最新