AnythingLLM 弃用 Ollama 改用 llama.cpp,推理最快提升 2 倍
solyarisoftware · x · 2026-10-14
AnythingLLM Desktop v1.18.0 起将内置引擎从 Ollama 切换为由 AMD 开源项目 Lemonade 管理的 llama.cpp。
- 性能:依赖硬件不同,推理速度最高提升 2 倍
- 体积:运行时安装体积缩小约 13 倍
- 新模型:llama.cpp 是新架构、新量化格式、新 GPU kernel 最先落地的地方,直连可获得 Day 0 支持
官方解释弃用 Ollama 的两个原因:一是中间层总会滞后于 llama.cpp 本身的优化节奏;二是过去一年捆绑的 Ollama 升级频繁破坏 AnythingLLM 功能。AnythingLLM 是 Ollama 最大的安装基础之一,此举标志着本地推理栈格局的变化。
「Infra」频道最新
- 单张 A100 跑出 12 万 tokens/秒，Argon 优化 Gemma 实现 2.9 倍提速 — osanseviero · 2026-10-14
- Espresso 上线 Spark 优化:自动修正错误机型与配置 — mattturck · 2026-10-14
- Intel Diamond Rapids 主板亮相:16 条 DDR5 插槽支持 MRDIMM — firstadopter · 2026-10-14
- SayGM 声称 LLM 网关可省 70% 费用，ARR 达 500 万美元 — markjeffrey · 2026-10-14
- Eaton 800V 直流电源机架亮相 OCP 峰会，围观者众 — firstadopter · 2026-10-14
- 混合精度+混合加速器采样器跑 RL，配合 off-policy 校正稳定收敛且更省成本 — xiuyu_l · 2026-10-14