llama.cpp新命令:一条命令启用MTP推测解码

ggerganov · x · 2026-08-15

llama.cpp作者Georgi Gerganov在X上展示了一条简单的命令:llama serve -hf ggml-org/Qwen3.8-27B-GGUF --spec-type draft-mtp,用于启用MTP(Multi-Token Prediction)推测解码。这简化了使用推测解码的流程,对本地推理性能优化有实际意义。

所属事件:llama.cpp新增命令一键启用MTP推测解码(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →