Unsloth 发布 MiniMax-M3.1-Flash 量化:2-bit 保留 91.5% 精度,150GB 内存可跑

danielhanchen · x · 2026-10-26

Unsloth 为 MiniMax-M3.1-Flash 推出 UD3 系列量化(GGUF),并跨多个领域测试确保量化效果。官方称 2-bit 量化版本可保留 91.5% 的 top-1 精度,体积缩小 45%,在 150GB 内存的机器上即可本地运行;UD-IQ1S 级别仍保留约 89.9% 的 top-1 精度。

默认配置下 MoE 层使用 NVFP4,其余层使用 BF16/MXFP8。Unsloth 称该模型是同尺寸最强开源模型之一,量化版可在 Unsloth Desktop 中直接使用。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →