Bonsai 2 提速挑战赛:Qwen 27B 压缩至 1/10,Mac 端已提速 140%
gajesh · x · 2026-09-26
MLX.fast 社区发起为期一周的 Ternary Bonsai 2 挑战赛,目标优化 PrismML 的 Bonsai 2——将 Qwen 3.8 27b 近无损压缩到原模型约 10% 大小,可跑在 16GB Apple 设备甚至部分手机上。
- 社区曾在 12 小时内让 Bonsai 速度翻倍,优化空间仍然很大
- 当前纪录:在 M5 Mac 上相对基线提速 140.7%(解码 158.2 tok/s、预填充 953.5 tok/s),共 17 个提交、7 个 solver
- 评分公式为 prefill^0.25 × decode^0.75,解码权重占 3/4
- 比赛持续至 10 月 1 日,门槛低,普通用户也能参与
「Infra」频道最新
- 三年造 CPU、内存与脉冲网络：一位芯片爱好者的加速器之路 — k7agar · 2026-11-11
- CoreWeave：2027年13万张GPU到期续约可年增收近40亿美元 — zephyr_z9 · 2026-11-11
- Mark 感叹 George Hotz 当年对 Nvidia 局势的预言成真 — mark_k · 2026-11-11
- 亚马逊 Prime 360 用 AI 实时重建 NBA 比赛 3D 画面，可任意视角回放 — import_jmr · 2026-11-11
- Altman 首度明言:OpenAI 中长期要取代 Nvidia — zephyr_z9 · 2026-11-11
- 报道:中国高校在美国禁令下仍购入英伟达 H200 芯片 — pstAsiatech · 2026-11-11