Qwen3.8-Flash 本地部署实测:量化与多卡调优成关键

多位开发者分享了 Qwen3.8-Flash-Next 的本地部署经验:在 12GB 显存的 RTX 3090 上,通过 IQ4XS 权重和 kvarn5 KV cache 等配置可实现量化部署与性能调优;在双 RTX 3060 环境下,发现 llama.cpp 默认的 -sm tensor 模式存在问题,调整后预填速度提升达 10 倍;另有用户在双 3090 加 Threadripper Pro 3955 平台上分享了使用 Llama CPP 的具体参数配置。

2026-08-28 ~ 2026-08-28 · 3 条相关