Qwen3.8-27B EXL3 量化版一键部署,16GB 显存就能本地跑
udmrzn · x · 2026-09-13
MiaAI Lab 发布了一套 Qwen3.8-27B 的 EXL3 量化一键部署套件,面向 16-32GB 显存的消费级 NVIDIA 显卡(如 RTX 3090、5060 Ti、5070 Ti、5090)。套件会自动检测显存并匹配合适的量化档位(2.0bpw 起步),自行安装 Python 环境、下载权重、启动 OpenAI 兼容接口并打开聊天 UI,Windows 和 Linux 行为一致。有医生用户用本地跑的 27B 模型在几小时内做出了一个教学用呼吸机模拟器,还能随机生成无限病例,看诊时后台循环运行。
「Infra」频道最新
- 社区将实验性 DeepSeek V4.1 steering 移植进 antirez 的 ds4 CLI — antirez · 2026-09-13
- Threadripper 3975WX 跑 Qwen 27B Q5 仅 10 tok/s,求助调优 — ifjo · 2026-09-13
- 从 KV 缓存本质讲透 MHA/MQA/GQA/MLA 四种注意力变体的区别 — techNmak · 2026-09-13
- 前 OpenAI 员工：「哪家实验室赢下 AGI」是个过时概念 — GregCook2011 · 2026-09-13
- 实测 Docker 跑 ComfyUI 零性能损失,但默认 /dev/shm 会触发 OOM — fluxdraw · 2026-09-13
- Nex N2.5 Mini 4bit 跑上 M5 Max:133.6 tok/s,质量速度兼顾 — DerTomsn · 2026-09-13