llama.cpp 坑点：-ngl -1 并非全量卸载，改成 all 后生成速度从 60 提到 76 t/s

randomjapaneselearn · reddit · 2026-11-13

发帖人在 3090 上跑 Swift-1.5-Qwen3.8-27B Q4KM 时遇到高 CPU 占用：用 -ngl -1 时，即使 131K 上下文低于自动建议的 150K，日志显示各次加载只卸载了 6466 层不等（有一次 0 层），导致层驻留内存、prompt 处理高 CPU 占用。把 -ngl -1 改成 -ngl all 后稳定卸载全部 66/66 层，CPU 占用消失，生成速度从 60 t/s 提升到 76 t/s。结论：-ngl -1 实际是 "auto"（自动适配），-2 才是 "all"；帮助文档称其为“最大层数上限”也与实际行为不符。若模型理论上能装进显存却遇到高 CPU 占用，直接写 all。