JetBrains 开源 Mellum2.1 Thinking MTP 头，解码提速 1.4-1.8 倍
pmttyji · reddit · 2026-11-02
JetBrains 在 Hugging Face 发布 Mellum2.1-12B-A2.5B-Thinking 的 MTP(multi-token prediction)版本：额外一个 transformer 块与主模型联合训练，推理时作为 speculative draft,每 token 均被主模型验证，输出不变的前提下解码提速 1.4–1.8 倍，草稿接受率约 90%。
权重存于 model-mtp.safetensors(mtp. 前缀)，config.json 中以 numnextnpredictlayers: 1 声明。各推理栈用法：
- vLLM 0.33+:--speculative-config '{"method": "mtp", "numspeculativetokens": 1}'
- transformers 5.20+:generate 传 usemtp=True
- llama.cpp:用 GGUF 仓库并加 --spec-type draft-mtp --spec-draft-n-max 1
「Infra」频道最新
- 500 美元预算微调 9B 模型：P40 24GB 能跑 QLoRA 吗 — exaknight21 · 2026-11-02
- KKR 等拟 55 亿美元出售印度数据中心巨头 STT GDC India — HarveenChadha · 2026-11-02
- GPU 租赁价格崩跌:H100 SXM 降至每小时 2.5 美元以下 — SumitGup · 2026-11-02
- OpenAI 拟将数据中心改称「AI 算力园区」以挽回公众形象 — Polymarket · 2026-11-02
- AMD 重金押注 vLLM,试图绕开 NVIDIA CUDA 护城河 — FinanceYF5 · 2026-11-02
- GMKtec Evo X5 迷你主机配 192GB LPDDR5，直指本地大模型推理 — Thrumpwart · 2026-11-02