llama.cpp v0.9.0 发布:原生 FP8 量化与 NCCL 多节点张量并行
victormustar · x · 2026-11-05
llama.cpp v0.9.0 正式发布,带来一批推理侧重要更新:
- 量化:新增 OCP FP8 E4M3 张量类型(饱和模式),含转换辅助函数与新的 ftype。
- 服务性能:新算子 flashattnextrows 优化多序列推理的统一 KV cache,恢复非统一 KV 的 prefill 性能。
- 多节点:ggml 升级到 0.29.0,通过 NCCL 支持多节点张量并行,并有跨 CPU、CUDA、SYCL、Metal、Vulkan、OpenCL、Hexagon 后端的性能优化。
- 新模型架构:支持 Clover、Limite、Metis-1.6、Mistral Large 4 四种新架构。
- 语音:新增 Chatterbox TTS、Nemotron 3.5 Transcribe 及预定义 Pocket TTS 音色。
- 其他:Gemma 4 E2B/E4B prefill 大幅提速,批量张量拷贝 API 取代旧的 2d API,服务端与 UI 一轮修复完善。
所属事件:llama.cpp 发布 v0.9.0，v1.0.0 大版本数周内来袭(3 条相关)→
「Infra」频道最新
- Techno Tim 自建家用 AI 平台:三块旧 GPU + vLLM + 语义路由统一入口 — JeremyCMorgan · 2026-11-05
- Marvell 自黄仁勋喊话后暴跌 46%,Gary Marcus 嘲 AI 炒股失灵 — GaryMarcus · 2026-11-05
- megakernel 合并算子,DeepSeek V4.1 Flash 在 AMD 上解码最快提速 2.27 倍 — Electronic-Ebb9771 · 2026-11-05
- Kimi K3.1 Pro 上线 Ollama Cloud：2.8T 参数、美国托管零数据留存 — ollama · 2026-11-05
- Hugging Face 公开模型优化流水线：从 profile 到 kernel 开源分发 — ariG23498 · 2026-11-05
- Reddit 网友提议:用 Agent 把碎片化自定义推理引擎拆解成可复用积木库 — nasone32 · 2026-11-05