Qwen3.8-27B EXL3 量化版一键部署,16GB 显存就能本地跑

udmrzn · x · 2026-09-13

MiaAI Lab 发布了一套 Qwen3.8-27B 的 EXL3 量化一键部署套件,面向 16-32GB 显存的消费级 NVIDIA 显卡(如 RTX 3090、5060 Ti、5070 Ti、5090)。套件会自动检测显存并匹配合适的量化档位(2.0bpw 起步),自行安装 Python 环境、下载权重、启动 OpenAI 兼容接口并打开聊天 UI,Windows 和 Linux 行为一致。有医生用户用本地跑的 27B 模型在几小时内做出了一个教学用呼吸机模拟器,还能随机生成无限病例,看诊时后台循环运行。