llama.cpp 把系统内存打爆了
cride20 · reddit · 2026-07-16
作者在一台本地 AI 机器上跑 llama.cpp 时，发现它会不断吃满系统内存，最终把整台 PC 撑到 OOM 崩溃。 帖中给出了当前配置与启动参数： - Ryzen 3 4100，8GB 内存，RTX 5060 Ti - 主要用途是 Vision OCR / RAG 信息抽取 - 使用的模型包括 `Qwen3.5-4B-UD-Q4_K_XL.gguf` 和 `Qwen3-Embedding-8B.Q4_K_M.gguf` 作者想知道如何阻止 llama.cpp 把 RAM 打爆，属于典型的本地推理资源管理问题。