llama.cpp v0.7.0 发布:一条命令在 128GB Mac 跑 Qwen3.8-Flash 草稿推测
ggerganov · x · 2026-10-17
llama.cpp 作者 ggerganov 发布 v0.7.0,演示在 128GB Mac/Spark 上的极简用法:llama serve -hf 加载 ggml-org/Qwen3.8-Flash-Next-GGUF 的 IQ4NL 量化版,并用 --spec-type draft-mtp 启用 MTP 草稿推测、--lazy-mode on 开启惰性加载。展示了新版在单命令本地部署大量化模型上的开箱即用体验。
所属事件:llama.cpp v0.7.0 发布：MoE 缓存提速解码，Mac 一键跑 Qwen(2 条相关)→
「Infra」频道最新
- llama.cpp 新增 IBM Granite 模型切换功能，本地即可运行 — jacek2023 · 2026-10-17
- Modal 揭秘亚秒级冷启动:自研分层懒加载容器文件系统 ImageFS — josh_wills · 2026-10-17
- Blackwell Ultra 租金连涨 17 天创历史新高,美国 neocloud 一机难求 — McDonaghMatthew · 2026-10-17
- 本地 AI 测速别只发 tok/s 截图：一份可信对比应包含 5 项指标 — EAccelerate_42 · 2026-10-17
- 4 台 Mac 实测：Draw Things 本地出图速度达 mflux 1.8 倍 — liuliu · 2026-10-17
- SurrealDB 新引擎点读达 RocksDB 28.3 倍,Agent Memory 同步上线 — mattturck · 2026-10-17