本地推理引擎碎片化:为跑满 16GB 显存,他被迫同时维护 5 套引擎

Fancy-Snow7 · reddit · 2026-11-23

一位本地模型用户吐槽推理生态严重碎片化:几个月前 llama.cpp 还能通吃,如今 sticking with 它意味着浪费大量性能。

他的现状是按模型分别用 5 套引擎:

生态现状:搜「Strata forks」就有 13 个,llama.cpp fork 可能数以百计;有的 fork 提速 5 t/s 却悄悄让 KLD(质量损失)恶化 50%;vLLM/sglang 是生产级但要 Linux。核心痛点:llama.cpp 对新模型/新架构支持太慢,还会拒掉有用的 PR,导致每次新模型发布都要装新引擎、调新参数、踩新坑。他在帖末征集大家的引擎组合。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →