llama.cpp v0.7.0 发布:MoE 专家 GPU 缓存使解码最快提速 2.2 倍
EAccelerate_42 · x · 2026-10-16
llama.cpp 发布 v0.7.0,新增 --moe-cache-mib:为存放在主机内存中的 MoE 专家权重提供 GPU 端 LRU 缓存,专家下放时解码速度最高提升约 2.2 倍,且缓存可在多块 GPU 间共享。
其他亮点:
- 新增 LiliCorr 投机解码(基于 DFlash 之上用小 draft transformer 做候选选择)与 GLM5-Next 的 MTP 支持
- 支持一批新模型:K2 Horizon(dense 与 MoVA)、Prism Bonsai 2 27B、EmbeddingGemma-2(文本+视觉+音频)、LiquidAI d1/d1-omni、MiniCPM-V 4.7、Nemotron Super 3.5 VL 等
- server 重构聊天会话 API,大幅改进 slot 与 prompt-cache 恢复,默认端口改为 9931;Web UI 新增完整模型管理器;ggml 升级至 v0.27.0
「Infra」频道最新
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16
- FT 称 AI 算力债券面临「达尔文时刻」，CoreWeave 债价暴跌 — firstadopter · 2026-10-16
- 手机当界面、家里服务器跑模型:一套本地 AI 双工作流 — EAccelerate_42 · 2026-10-16
- 「数据中心就是银行」:CoreWeave 风波引出算力监管类比 — arthurcolle · 2026-10-16
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16