llama.cpp新命令:一条命令启用MTP推测解码
ggerganov · x · 2026-08-15
llama.cpp作者Georgi Gerganov在X上展示了一条简单的命令:llama serve -hf ggml-org/Qwen3.8-27B-GGUF --spec-type draft-mtp,用于启用MTP(Multi-Token Prediction)推测解码。这简化了使用推测解码的流程,对本地推理性能优化有实际意义。
所属事件:llama.cpp新增命令一键启用MTP推测解码(2 条相关)→
「编程与Agent」频道最新
- 删掉一个工具让Agent自主跑通63个ticket:工程实践分享 — EquivalentGuitar7140 · 2026-08-15
- 长周期 Agent 设计错在低估智能的参差性 — philhchen · 2026-08-15
- 稳定端点不等于稳定行为:GPT-chat-latest 底层模型变化需回归测试 — WirelessLife · 2026-08-15
- 开发者分享为Claude定制的终端主题,便于区分并行Agent会话 — sterlingcrispin · 2026-08-15
- MCP UI 应用实验:交互式图表取代静态 SVG — DavidKPiano · 2026-08-15
- LangChain 新增 Trajectory 概念,可观测性数据用于记忆与学习 — hwchase17 · 2026-08-15