Qwen3.5 27B 推出 12GB 显存 GGUF 量化版

soyaakinohara · hf · 2026-08-23

Hugging Face 上出现了 Qwen3.5 系列的新量化模型 soyaakinohara/qwen3.8-27b-abliterated-3.69bpw-12GB-MTP.gguf。该模型针对 llama.cpp 进行了优化，采用 GGUF 格式。量化后的版本将显存需求控制在 12GB 左右，适合在消费级硬件上本地部署。模型被标记为“abliterated”（去安全审查）和“uncensored”，使用了混合注意力机制（hybrid-attention）和 MTP（Multi-Token Prediction）技术。