众包优化：Qwen 3.8 在 Mac 端提速 230%
julianharris · x · 2026-08-22
开源社区通过众包竞赛，在一周内将 Qwen 3.8 27B 在 Mac 端的中位解码速度从 26 tok/s 提升至 87.9 tok/s，实现了约 235% 的提速。31 位贡献者提交了 67 项改进，主要通过自定义 MTP 头进行推测解码，每轮能起草并接受约 3.9 个 token，同时保持与串行输出完全一致。这展示了密集模型在 Apple Silicon 上的优化潜力。
「Infra」频道最新
- 英伟达携手瑞典 Wallenberg，Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16
- Cerebras 用异构 prefill 池喂晶圆级引擎，解码速度与 batch 解耦 — ai · 2026-10-16
- d-Matrix Corsair 机架正式出货，演示 H100+8 XPU 跑出 845 tok/s — ai · 2026-10-16
- Actual 实测 DGX Station 跑出 10k tok/s，推理引擎与 GB300 案例曝光 — natesiggard · 2026-10-16