MTPLX 框架加速 Qwen 模型推理 2 倍
koc_Z3 · reddit · 2026-08-29
MTPLX 框架声称可在 Apple Silicon 上显著加速 Qwen 模型。在 M1 Max 64GB 设备测试中，Qwen2.5-27B (Q4) 解码速度达 21 TPS，预填充提速至 83 TPS（峰值 111），实现约 2 倍加速；Qwen2.5-35B 预填充峰值达 623 TPS。框架支持自动调优草稿深度，并能将基础模型转换为 MLX 就绪的 MTP 模型。
「Infra」频道最新
- 黄仁勋：每吉瓦 AI 数据中心给 Nvidia 贡献超 400 亿美元 — rohanpaul_ai · 2026-10-15
- dottxt 登顶 AutoExacto 榜单,TAU-Bench Airline 达 84.5% — remilouf · 2026-10-15
- 云端数据可迁移的前提:你得付得起迁移成本 — DavidLinthicum · 2026-10-15
- 黄仁勋谈主权 AI：芯片只是工具，数据与知识才命脉 — rohanpaul_ai · 2026-10-15
- 昇腾 CANN 将直播 950 超节点预训练 DeepSeek V4 参考实践 — teortaxesTex · 2026-10-15
- Cloudflare 数据：Yandex 数据中心遇袭后，恶意机器人只是换了网络 — banteg · 2026-10-15