llama.cpp 合并新 PR:MoE 未命中专家可直接在 CPU 上跑
QuixiAI · x · 2026-11-08
llama.cpp 于 11 月 7 日合并了 PR #30966,对显存放不下的大型 MoE 模型是重要升级,纯软件方案,不需要买新 GPU。
- 之前 MoE 缓存未命中时,需要把缺失专家的权重从系统内存经 PCIe 搬进显存执行,eGPU(低带宽雷电口)场景代价尤其大
- 新增选项:让部分未命中专家直接在 CPU 上执行,无需先传完整权重进 VRAM
- 新增 --moe-cache-cpu-share 等参数,并用 --moe-cache-mib 控制缓存大小
- 附带调参脚本 scripts/moe-cache-tune.py,自动跑多轮 llama-server 找最优配置;示例输出显示 share 0.95 时速度从 24.2 t/s 提升到 47.6 t/s
所属事件:llama.cpp 新 PR 让 MoE 未命中专家改在 CPU 上运行(2 条相关)→
「Infra」频道最新
- 端侧 AI 2026 全景:119 家公司 14 层,Mistral 估值超 210 亿欧元 — FinanceYF5 · 2026-11-08
- 缓存感知路由实测：共享前缀流量首 token 延迟从 6.88s 降至 0.31s — shoumikgoswami · 2026-11-08
- 卡林顿级太阳风暴或摧毁多数太空数据中心，存活率恐不足 50% — johnseach · 2026-11-08
- tszzl 呼吁全面对华禁售芯片、云训练与制造设备 — tszzl · 2026-11-08
- nanoGPTJAX 作者预告大改版：拆分硬件内核、瞄准 NVFP4 — A_K_Nain · 2026-11-08
- Zyphra 发布 ZHA 树状稀疏注意力,35B 模型只查 1-6% KV 缓存 — burny_tech · 2026-11-08