为 GGUF 补上 MTP 头:llama.cpp 本地推理实测明显提速
ZenZombie117 · reddit · 2026-10-09
作者在对比 Strata、llama.cpp 与自研 Runner 的推理速度时发现,Strata 的部分速度优势来自 GGUF 文件中的 MTP(Multi-Token Prediction)头。
为了让对比公平,作者为 ISTA-DASlab 的 Qwen3.8-Flash-Next GGUF 量化文件制作了 MTP 头并开源:
- MTP 头文件:配合原模型 GGUF 使用
- 已带头的自量化版本
实测结果:llama.cpp 加上 MTP 头后有明显提速,但 Strata 仍然快得多;Runner 还有很长的路要走,需要架构改进。
「Infra」频道最新
- 英伟达发布 OpenShell 参考架构，为 AI 智能体划定安全边界 — nordicinst · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23
- Liquid AI 发布 RIPL 推理引擎：端到端响应快至 50ms 内 — JosephJacks_ · 2026-10-23
- OpenJet 引擎宣称 Qwen3.8-27B 推理速度达 llama.cpp 1.9 倍 — JeremyCMorgan · 2026-10-23