通过 ShimQuant 修补，Nemotron 16GB 显存运行成真

Daxfortuna · reddit · 2026-08-30

作者开发了 ShimQuant 技术来量化 Nemotron-3.5-Lightning 模型。由于该模型张量宽度非 256 倍数，传统量化工具无法有效压缩（仅能到 4.7 bpw）。作者通过在量化时填充并在推理时切片，实现了 3.07 bpw（11.77 GiB）的体积，使其能在 16GB 显存显卡上运行。该方案在 HumanEval 上得分 91.5%，与 19.65 GB 版本持平，但需要打补丁的 llama.cpp 支持。