llama.cpp 发布 v0.9.0，数周内将迎来 v1.0.0 大版本
ggerganov · x · 2026-11-05
llama.cpp 发布 v0.9.0，并宣布未来几周将筹备首个大版本 v1.0.0。
v0.9.0 主要更新：
- 新增 OCP FP8 E4M3 量化支持（含饱和模式与转换工具）
- 新增 flashattnextrows 算子，使统一 KV cache 在多序列推理下更高效，恢复非统一 KV 的 prefill 性能
- 通用批量张量拷贝 API（ggmlbackendtensorcopyn 等），已实现 Metal 与 CUDA 后端
- 新增四种模型架构支持：Clover、Limite、Metis-1.6、Mistral Large 4
- 音频生成/转录扩展：Chatterbox TTS、Nemotron 3.5 Transcribe、Pocket TTS 预设语音
- Gemma 4 E2B/E4B 获得 prefill 大幅优化
- ggml 升级至 v0.29.0，带来 NCCL 多节点张量并行，CPU/CUDA/SYCL/Metal/Vulkan/OpenCL/Hexagon 等后端性能改进
- server 与 UI 一轮修复
所属事件:llama.cpp 发布 v0.9.0，数周内将迎来 v1.0.0(2 条相关)→
「Infra」频道最新
- Unsloth 发布 Qwen3.8-Flash-Next 量化版，精度提升 10-15% — danielhanchen · 2026-11-05
- 跨两洲 25Gbps 链路训 MoE 模型：算力岛分布式训练实录 — _arohan_ · 2026-11-05
- Arena 数据：任务越贵 Gemini 4 Carbon 成本优势越大，达 GPT-6 Astra 的 1/3.4 — arena · 2026-11-05
- Together Compiler 发布:面向多态推理时代的内核持续优化系统 — simran_s_arora · 2026-11-05
- 内存涨价冲击苹果:假期季毛利率将从 48% 降至 45% — rohanpaul_ai · 2026-11-05
- 苹果警告内存芯片涨价「前所未有」，假日季毛利率将降至 45% — rohanpaul_ai · 2026-11-05