用 LM Studio 解决 llama.cpp CUDA 坑
erSajo · reddit · 2026-07-15
作者在 Linux + CUDA 机器上反复安装 llama.cpp、SGLang、TensorRT 都遇到问题，最后改用 LM Studio 的 headless 版本后成功跑通推理。 关键发现是：LM Studio 自带的预编译 llama.cpp 后端可以直接单独调用 `llama-server`，这样能绕开不少 CUDA 兼容和安装坑。作者后来又补充说，性能问题部分来自 `lms CLI` 不能像 `llama-server` 那样完整指定 batch size 等参数，因此直接控制后端更稳。