本地推理程序怎么选
Macestudios32 · reddit · 2026-07-09
帖子在询问一台配有双 GPU、18GB 显存和较大内存的服务器，做混合 CPU+RAM 推理时更适合用 llama.cpp、llkllama 还是 vLLM。发帖人说自己目前在用 llama.cpp，但怀疑可能不是当前最优方案，希望获得更合适的推理程序建议。
Macestudios32 · reddit · 2026-07-09
帖子在询问一台配有双 GPU、18GB 显存和较大内存的服务器，做混合 CPU+RAM 推理时更适合用 llama.cpp、llkllama 还是 vLLM。发帖人说自己目前在用 llama.cpp，但怀疑可能不是当前最优方案，希望获得更合适的推理程序建议。