Qwen3.8-Flash-Next MTP 合入 ik_llama.cpp,5090 上速度翻倍至 90 tok/s
Alternative_Will5974 · reddit · 2026-09-04
- 作者的 MTP 支持已合入 ikllama.cpp 主线(PR #2369),无需 fork 补丁
- 模型自带 2.6B MTP 头,从隐状态起草 token 后验证;代码场景草稿接受率 93-99%,散文仅 60-65%
- 实测解码速度:RTX 5090+128GB(专家放 CPU)从 45 提升到 90 tok/s;RTX Pro 6000 上代码 85→113,但散文反而 83→59,并非免费午餐
- 12GB 4070 上代码 9.5→12.5,3090 可复现;草稿头与目标模型的配对很重要,某些组合净负收益
- 注意事项:目前仅支持单并发(-np 1),--jinja 会因默认开思考降低接受率
- 提供完整构建命令与 llama-server 启动参数,并给出三份 Hugging Face 上的 MTP 头权重文件
「Infra」频道最新
- 开发者用 incus 容器给每个 Agent 独立工作区，解决 Mac 负载瓶颈 — kevinkern · 2026-10-21
- 黄仁勋指引明年营收增70%仍供不应求,一人唱衰韩云IPO难改算力荒 — firstadopter · 2026-10-21
- Pichai:所有人算力都严重短缺,谁都希望计划量翻倍 — firstadopter · 2026-10-21
- 斯坦福 CS336 第 6 讲:kernel 提速先少跑几趟显存 — stanfordnlp · 2026-10-21
- General Compute 携手 Positron：GPU 管提示，专用内存硬件管出 token — aftahi_ai · 2026-10-21
- 2026 年 AI 相关债券发行已达 4190 亿美元,比去年全年高出 90% — SumitGup · 2026-10-21