8GB 显卡跑 Qwen Flash:换 STRATA+ CachyOS 后从 9t/s 飙到 48t/s

Ne00n · reddit · 2026-10-21

Reddit 用户分享本地推理提速经历:同一套 4060 8GB + 64GB DDR4 的机器,用 llama.cpp 系(Unsloth 3bit)跑 Qwen 3.8 Flash Next 只有 9 token/s;改用 STRATA 配 CachyOS(NVIDIA 驱动开箱即用)后峰值达 48 token/s,平均约 30 token/s。

受 8GB 显存限制,上下文 32k 运行流畅,最多塞到 42k——此时距显存爆掉仅剩约 130MB,64k 无法实现。作者称该模型本地体验「像本地版 Claude」,并配了「与 llama.cpp 友谊终结」的梗图。