llama.cpp 性能落后于 Ollama？本地大模型部署配置避坑

anshulsingh8326 · reddit · 2026-08-09

一位开发者在 RTX 4070 (12GB) 环境下测试发现，运行相同的 Q4K 量化模型时，llama.cpp 的生成速度（55 TPS）竟然低于默认配置的 Ollama（61 TPS）。

发帖人附上了详细的启动参数（如 -ngl 99, -fa, -ctk q80 等）和硬件配置寻求帮助。这其实反映了本地推理部署中，不同工具的默认参数优化和上下文处理机制对性能影响很大，普通用户在手动调参时容易遇到性能瓶颈。