llama.cpp 新 PR 让 MoE 未命中专家改在 CPU 上运行

llama.cpp 于 11 月 7 日合并了作者 am17an 的 PR #30966：此前 MoE 模型在 offloading 场景下，若请求的专家未载入显存，需要反复加载导致性能下降；新方案改为直接在 CPU 上运行这些未命中专家，为低显存用户带来显著推理提速。该升级是纯软件方案、无需购置新 GPU，对显存放不下大型 MoE 模型的用户尤为重要。

2026-11-08 ~ 2026-11-08 · 2 条相关

• llama.cpp 新 PR 让 MoE 未命中专家跑在 CPU 上,低显存用户推理大幅提速 — jacek2023 · 2026-11-08
• llama.cpp 合并新 PR:MoE 未命中专家可直接在 CPU 上跑 — QuixiAI · 2026-11-08