Qwen3.8-Flash-Next MTP 合入 ik_llama.cpp,5090 上速度翻倍至 90 tok/s
Alternative_Will5974 · reddit · 2026-09-04
- 作者的 MTP 支持已合入 ikllama.cpp 主线(PR #2369),无需 fork 补丁
- 模型自带 2.6B MTP 头,从隐状态起草 token 后验证;代码场景草稿接受率 93-99%,散文仅 60-65%
- 实测解码速度:RTX 5090+128GB(专家放 CPU)从 45 提升到 90 tok/s;RTX Pro 6000 上代码 85→113,但散文反而 83→59,并非免费午餐
- 12GB 4070 上代码 9.5→12.5,3090 可复现;草稿头与目标模型的配对很重要,某些组合净负收益
- 注意事项:目前仅支持单并发(-np 1),--jinja 会因默认开思考降低接受率
- 提供完整构建命令与 llama-server 启动参数,并给出三份 Hugging Face 上的 MTP 头权重文件
「Infra」频道最新
- 1 GW 数据中心能装 52.2 万张 Blackwell GPU：算法拆解 — bookwormengr · 2026-10-21
- DeepSeek 生产密度曝光：高饱和下每 GPU 时产出等值 38 美元 — bookwormengr · 2026-10-21
- PyTorch 官方详解 IBM Spyre 后端：KTIR 与数据流调度器如何跑通 AI 加速器 — PyTorch · 2026-10-21
- 独立开发者用 YAML 流水线+Spot GPU+vLLM 把 AI 账单大幅砍掉 — cmm324 · 2026-10-21
- DeepSeek 开源 V4.1-Flash 背后的推理引擎 DeepInfer — The Decoder · 2026-10-21
- 机器人推理平台上线 Deployments:可云端部署 HF 微调模型 — arnie_hacker · 2026-10-21