llama.cpp 更新：默认加载 MTP 张量致显存多耗一层
Shoddy_Bed3240 · reddit · 2026-07-30
近期 llama.cpp 的构建版本改变了张量加载逻辑：对于包含 MTP/NextN 张量的模型（如 GLM-5.2、Qwen3 等），即使未启用投机解码，也会默认加载这些张量。
这会带来额外的显存/内存消耗（约等于多加载一个 MoE 层）。由于目前社区制作的大多数 GGUF 模型默认打包了 MTP 块，这一改动将普遍影响本地部署的硬件资源占用，开发者需留意内存溢出（OOM）风险。
「Infra」频道最新
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16