llama.cpp 合入 PR 为 Qwen Flash Next 添加 MTP 支持,量化已上架
jacek2023 · reddit · 2026-10-01
GitHub 用户 am17an 向 ggml-org/llama.cpp 提交并合入了 Qwen4Exp PR(#29761),为 Qwen Flash Next 添加 MTP(多 token 预测)支持,本地推理速度可进一步提升。配套的 GGUF 量化版本已发布在 Hugging Face(ggml-org/Qwen3.8-Flash-Next-GGUF),作者戏称是从 Qwen 3.8 27B 换机的时机到了。
「Infra」频道最新
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16
- 芯片业铁律:出货量说了算,Intel 输在丢了需求 — TheKanter · 2026-11-16
- 台北101点亮「台湾❤️Jensen」,科技界集体声援黄仁勋 — liu_mingyu · 2026-11-16
- Nous 高管提醒:勿用 GPT 900k 变体,272k 后加收费用 — Teknium · 2026-11-16
- CUDA 矩阵乘法优化实战:从朴素实现干到 cuBLAS 93.7% 性能 — RisingSayak · 2026-11-16
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16