llama.cpp 过时了？本地推理引擎碎片化混战引发热议

fintip · reddit · 2026-11-01

Reddit 用户发长帖吐槽本地 LLM 推理引擎生态：曾经的标准答案 llama.cpp 如今被认为「像 ollama 一样又慢又落后」，而 Strata 带来了难以想象的提升，之后每天冒出各种号称更强的独立 fork——Avalon、Basalt、Beatleguese 等等。

作者已实测发现 flash next 比 27B 模型更快更好，困惑为什么单人开发者几周就能做到 llama.cpp 团队做不到的事，同时担忧创新分散在上千个一次性项目里、力量没有汇聚到一个方向。他也承认对 llama.cpp 的批评有夸张成分（27B 模型仍在用它跑）。