博主自研推理优化：Qwen 系列开 MTP 后可再提速约 16%
karminski3 · x · 2026-10-20
博主 karminski3 透露已折腾一周的推理优化项目：若成功，Qwen3.8-27B、Qwen3.6-35B-A3B、Qwen3.8-Flash-Next 等模型在开启 MTP 的情况下可再原地提升约 16% 的速度。他表示成功后会直接发布 llama.cpp / mlx 版本，开箱即用。配图为其搭建的硬件测试平台。
「Infra」频道最新
- 自托管 14B 模型审合同:准确率仅差 2 个点,成本降到 Claude 的 1/27 — Broad_Breakfast_1172 · 2026-10-20
- 东北大学发布 EC2-Bench:系统评测 LLM Agent 端云协同执行权衡 — NortheasternUniversity1923 · 2026-10-20
- 全行业争模型霸主,但没人问谁控制电力:五层栈中模型层杠杆最小 — r0ck3t23 · 2026-10-20
- 租 GPU 已不稀缺：五起收购揭示 Neocloud 靠软件筑护城河 — FinanceYF5 · 2026-10-20
- Neocloud 竞争新逻辑:GPU 不再稀缺,竞相收购软件筑壁垒 — FinanceYF5 · 2026-10-20
- 黄仁勋批德国：科技最先进国家之一却大幅落后，别想太多快干活 — 2C_ornot2C · 2026-10-20