MagicQuant 发布 Qwen3.8 27B 混合量化 GGUF 模型

crossivejoker · reddit · 2026-08-21

作者发布了基于 MagicQuant 混合发现系统生成的 Qwen3.8 27B GGUF 模型，并使用了 Unsloth 动态 v3 和 Imatrix 技术。文章详细对比了 MagicQuant 混合量化版本与原版 Unsloth 量化版本在 KLD（散度）和模型体积上的差异。数据显示，MagicQuant 的混合方案（如 MQ-Q6K1）在保持极低 KLD（0.000703）的同时，优化了体积。MagicQuant 是一个由基准驱动的 GGUF 评估和混合发现系统，通过学习张量配置并构建测试来寻找高性能的混合量化方案。