llama.cpp 发布 1.0:FP8 KV 缓存、MoE 主机内存缓存,移除 35 个废弃 API
mark_k · x · 2026-11-14
llama.cpp 迎来 v1.0.0,底层 ggml 库同步升至 1.0,对本地跑模型的用户是一次大版本更新。
主要新内容:
- 新增 OCP FP8 KV 缓存与主机内存 MoE 专家缓存(可配置 CPU 占比),支持加载外部 PLE 分片
- 新增 3 个文本架构(Kimi-K3.1-Pro、Ripple、xing4.0)、drama-3 TTS,以及 MageVL-Cowork 和 Kimi-K3.1 视觉支持
- llama-server 安全加固(SSRF、CORS、DNS rebinding、MCP 工具取消),新增 OpenAI 兼容的 /v1/audio/speech 语音生成端点
- 全新设计的 Web UI,支持聊天分组与 Markdown 编辑器
升级注意:本次移除了 35 个已废弃的 API 函数及 --defrag-thold 等选项,开发者升级前需检查调用。
所属事件:llama.cpp 发布 v1.0.0，本地 AI 推理生态迎来稳定基座(15 条相关)→
「Infra」频道最新
- NIDO:完全离线的安卓私人 AI 助手开源,模型记忆全在手机上 — NIDO_007 · 2026-11-14
- 云报告在测错指标：混合云常是历史包袱而非战略 — DavidLinthicum · 2026-11-14
- Will Depue 被怼「2-3K 卡不算数据中心级」，爆粗回怼 Teortaxes — teortaxesTex · 2026-11-14
- 本地部署选型清单：从聊天到语音,七个场景各配一个开源模型 — alex_verem · 2026-11-14
- NVFP4 量化版 Qwen3.8-Flash 在 V100 上实测:prefill 快得惊人 — Scobleizer · 2026-11-14
- 1997年花100万美元买"假芯片"救了Nvidia,黄仁勋的豪赌往事 — bigaiguy · 2026-11-14