数月迭代对比：llama.cpp 性能持续攀升，反超作者自研推理引擎

Danmoreng · reddit · 2026-11-16

Reddit 用户 Danmoreng 分享了一项业余实测：几个月前 llama.cpp 还比 vLLM 慢且浪费显存，他甚至 vibe-code 了一个针对自己 RTX 5080 16GB 笔记本的推理引擎并轻松跑赢 llama.cpp。如今重新跑分，llama.cpp 已追平并反超他的引擎。

测试条件为固定 16k prefill + 1k output（Wikipedia 文本）、各引擎取最优设置。Gemma 4 12B 上 vLLM prefill 达 6937 tok/s、llama.cpp 4754 tok/s；26B A4B 上 llama.cpp 在 decode 与 D2 decode 场景领先（202.9 tok/s）。作者指出 12B 为同一 checkpoint，26B 各引擎量化不同、并非严格同条件，但结论仍是 llama.cpp 长期迭代带来了显著性能提升，他也更愿意用稳定引擎而非 vibe-code 方案。