本地推理引擎碎片化:为跑满 16GB 显存,他被迫同时维护 5 套引擎
Fancy-Snow7 · reddit · 2026-11-23
一位本地模型用户吐槽推理生态严重碎片化:几个月前 llama.cpp 还能通吃,如今 sticking with 它意味着浪费大量性能。
他的现状是按模型分别用 5 套引擎:
- Strata:跑 Qwen FN 在 16GB 显存上达 180 t/s(llama.cpp 仅 30 t/s 生成、2500 pp 对 300 pp),KV 可到 200k+,没有理由不用。
- Basalt:跑 Inkling-2-Mini 达 60 t/s,是 llama.cpp fork(28 t/s)的两倍多。
- Adaptive KV Streaming fork:只支持 Qwen/Gemma,但 KV 填满后从 70 t/s 跌到 20 t/s,长上下文不可用。
- beelama 与上游 llama.cpp 兜底。
生态现状:搜「Strata forks」就有 13 个,llama.cpp fork 可能数以百计;有的 fork 提速 5 t/s 却悄悄让 KLD(质量损失)恶化 50%;vLLM/sglang 是生产级但要 Linux。核心痛点:llama.cpp 对新模型/新架构支持太慢,还会拒掉有用的 PR,导致每次新模型发布都要装新引擎、调新参数、踩新坑。他在帖末征集大家的引擎组合。
「Infra」频道最新
- 老卡复兴:Tesla P100 16GB 上把解码速度从 11.6 提到 52 tok/s — Relative-Ingenuity15 · 2026-11-23
- 用户弃用每月 40 美元付费视频工具转投开源 Maestro — cocktailpeanut · 2026-11-23
- 9 台机器全本地 AI homelab:5 个 agent 共享一台 3090 双卡推理机 — StandardLovers · 2026-11-23
- 剪枝再升杯:单一模型按内存动态伸缩的构想 — minhnguyen · 2026-11-23
- Koboldcpp 发布 v1.125.1 版本 — Fcking_Chuck · 2026-11-23
- Fireworks AI 数据泄露波及 Uber 15 万司机,美新规限制对华算力访问 — DavidLinthicum · 2026-11-23