单张魔改 4090 跑通 318GB 的 DeepSeek V4.1-Flash 量化版,冲到 20+ tok/s

lxfater · x · 2026-10-18

有人折腾一整天,把 748B 的 DeepSeek V4.1-Flash 1017 开源量化版(Baekpica/DeepSeek-V4.1-Flash-1017-VQ-GGUF,vq8sh14-q4k-mtpnative 矢量量化配方)在单张 48G 魔改 4090 + 128G 内存的机器上跑起来,速度达 20+ tok/s。该模型为 552B MoE + 196B Engram 记忆表,权重共 318GB,原本是为 DGX Spark 这类统一内存设备准备的。作者完整复盘了踩坑过程:引擎规划器硬性要求 110.7G 显存直接拒绝启动;关键在于 DGX 显存内存共享而普通 PC 物理分离,需要打补丁绕过规划器的限制。lxfater 评价:是时候给这个模型写专用推理引擎了。