llama.cpp 新 PR 让 MoE 未命中专家跑在 CPU 上,低显存用户推理大幅提速
jacek2023 · reddit · 2026-11-08
llama.cpp 的 PR #30966(作者 am17an)为 MoE 模型的 offloading 场景带来显著提速:当请求的专家未被载入显存时,改为在 CPU 上运行这些「漏掉」的专家,并附带了调参脚本。这对显存不足、依赖专家权重 offload 的本地部署用户是实质性改进,思路类似此前 Strata 的调优机制。
「Infra」频道最新
- Vercel 上架 DeepSeek V4.1 Flash 1017：宣称千 token/秒，实测供应商口径打架 — gajesh · 2026-11-08
- RL 训练中超 100 步 staleness 会致严重 off-policy — teortaxesTex · 2026-11-08
- SemiAnalysis 探访内蒙古 Galaxy 园区：800MW 规划、成本仅美国五分之一 — dylan522p · 2026-11-08
- 假食品运输卡车偷走价值 1140 万美元的 Nvidia GPU 硬件 — eyishazyer · 2026-11-08
- 开源工具 satmux 让机舱 Wi-Fi 提速 4 倍,月成本仅几美元 — steipete · 2026-11-08
- Mac 上跑 Minos 挖矿：居家 crunch 基因组数据赚 Bittensor 代币 — markjeffrey · 2026-11-08