Qwen3.8-Flash 引入 MTP 多 token 预测,本地推理提速 1.7 倍

社区为 Qwen3.8-Flash-Next 的 GGUF 量化版本放出了 MTP(多 token 预测)支持,有望显著提升本地推理速度。Unsloth 随后发布该 125B MoE 模型的本地运行方案,借助 MTP 实现约 1.3–1.7 倍加速,在 RTX PRO 6000 上可达 170 tokens/s。

2026-09-01 ~ 2026-09-02 · 2 条相关