llama.cpp 自适应 MTP PR：代码生成提速最高翻倍
Look_0ver_There · reddit · 2026-08-18
作者为 llama.cpp 提交了 PR #27210，加入自适应 MTP（Multi-Token Prediction）模式：用一个简单的计数式状态机动态决定投机解码的 draft 深度，用户不必再纠结 MTP 深度设多少。
实测表现：
- 普通散文与高难度文本约比固定 MTP=3 慢 3% 左右（部分散文场景略快）。
- 代码生成快 10-15%；从思考阶段回忆代码时提速超 50%；模型凭记忆重写整个文件时最高快 100%。
- 回忆性文本提速约 20-30%。
- 温度越高、输出越不可预测，优势越小，但代码场景仍略优。
推荐配置：--spec-type draft-mtp-adaptive --spec-draft-n-max 12（深度 3-12 自动调节），可用 --spec-draft-n-min-adaptive 调低深度下限。
「Infra」频道最新
- FT 称 AI 算力债券面临「达尔文时刻」，CoreWeave 债价暴跌 — firstadopter · 2026-10-16
- 手机当界面、家里服务器跑模型:一套本地 AI 双工作流 — EAccelerate_42 · 2026-10-16
- 「数据中心就是银行」:CoreWeave 风波引出算力监管类比 — arthurcolle · 2026-10-16
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16