MiniMax 新开源模型显存需求实测:Q4 量化 20.8GB 可跑 24G 卡

网友对 MiniMax 新开源模型的部署成本进行测算:BF16 全精度权重约 66GB,而 Bartowski 提供的 GGUF 量化版中 Q4KM 约 20.8GB、Q5KM 更大,24GB 显存显卡即可运行量化版本。另有估算显示,该模型采用 8 个 KV heads、headdim 128 和 BF16 精度,32K tokens 上下文的 KV cache 约需 6.5GB 显存,512K 长上下文则需约 104GB,长文本部署门槛显著更高。

2026-10-26 ~ 2026-10-26 · 2 条相关