llama.cpp 发布 v1,新增 MoE offloading 与 LRU 缓存加速大模型
danielhanchen · x · 2026-11-14
llama.cpp 正式发布 v1 版本，Unsloth 维护者 Daniel Han 介绍了其新增的 MoE offloading 能力：即使超大 MoE 模型装不进显存，也能借助 MoE 智能缓存保持较快推理速度。
具体用法是通过 --moe-cache-mib N 参数，把一定数量的 GPU 显存(MiB)分配给 MoE 的 LRU 缓存；Unsloth 的 llama.cpp 预编译版还提供 auto 选项，可自动确定缓存大小。对本地部署大 MoE 模型的用户是重要的显存优化手段。
「Infra」频道最新
- SGLang 峰会分享：NVFP4 4-bit 低精度 RL 千卡实战经验开源 — ericzelikman · 2026-11-14
- Anthropic IPO 路演页泄露，网友推测 V4.1F 用 Blackwell 训练被拉黑 — teortaxesTex · 2026-11-14
- 《纽约客》访谈称 AI 是暴力穷举问题，将「烧毁地球」 — kevinnbass · 2026-11-14
- 联想官宣混合词元工厂：15000P 集群年产 2000 万亿 Token，绿电进词元出 — 量子位 · 2026-11-14
- Rust 全栈推理引擎 LexiSuite 实测:262k 长上下文快 17-25% — W61k3r · 2026-11-14
- 韩国芯片出口日均稳在 22 亿美元,DRAM 涨价 5.5% 或暗示供给见顶 — tengyanAI · 2026-11-14