llama.cpp修复MTP性能Bug，Qwen模型端侧推理提速10%
solyarisoftware · x · 2026-07-29
llama.cpp 修复了一个关于 MTP（Multi-Token Prediction）的性能 Bug。此前在使用 --fit 加载 MTP GGUF 模型时，程序未将 NextN/MTP 块计入 ngpulayers，导致少卸载了一层到 GPU，使第 0 层滞留在 CPU 上运行，并意外禁用了融合 Gated Delta Net GPU 内核，拖慢了生成速度。
该修复（PR #26177）已包含在 b10152 版本中。实测表明，修正后正确计算了 MTP 块，使模型前层得以保留在 GPU 上，使用 Qwen3.6-35B-A3B 模型的 Token 生成速度提升了约 10%。
所属事件:llama.cpp一行代码修复Bug，Qwen端侧推理提速10%(2 条相关)→
「Infra」频道最新
- Reddit 网友发问:为何没有专为 24-32GB 显存设计的视频模型 — BreadUndPeeTears · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- Adobe 联手 NVIDIA 优化创意应用：RTX Spark 本地提速至 2 倍 — shashib · 2026-10-16
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- a16z 周报：电商封杀 agent 购物，403 拦截率翻倍 — a16z Newsletter · 2026-10-16