llama.cpp v0.7.0 发布：MoE 缓存提速解码，Mac 一键跑 Qwen

llama.cpp 作者 ggerganov 发布 v0.7.0：新增 --moe-cache-mib 选项，为存放在主机内存中的 MoE 专家权重提供 GPU 端 LRU 缓存，专家下放时解码速度最高提升约 2.2 倍；同时演示极简用法，一条 llama serve -hf 命令即可在 128GB Mac/Spark 上加载运行 Qwen3.8-Flash 草稿推测。

2026-10-16 ~ 2026-10-17 · 2 条相关

• llama.cpp v0.7.0 发布:MoE 专家 GPU 缓存使解码最快提速 2.2 倍 — EAccelerate_42 · 2026-10-16
• llama.cpp v0.7.0 发布:一条命令在 128GB Mac 跑 Qwen3.8-Flash 草稿推测 — ggerganov · 2026-10-17