硬核实战:4080 显卡运行 182B Qwen 模型达 8 tok/s

Desperate-Data-3747 · reddit · 2026-08-31

用户通过将 ngrams 卸载至 SSD,在 4080 + 64GB 内存配置下成功运行 182B 参数的 Qwen Flash Q4KM 模型,速度约 8 tok/s,支持 98k 上下文。实测其表现优于 Qwen3.8 27B,并提供了完整的 llama.exe 启动命令参数配置。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →