Bonsai 2 提速挑战赛:Qwen 27B 压缩至 1/10,Mac 端已提速 140%
gajesh · x · 2026-09-26
MLX.fast 社区发起为期一周的 Ternary Bonsai 2 挑战赛,目标优化 PrismML 的 Bonsai 2——将 Qwen 3.8 27b 近无损压缩到原模型约 10% 大小,可跑在 16GB Apple 设备甚至部分手机上。
- 社区曾在 12 小时内让 Bonsai 速度翻倍,优化空间仍然很大
- 当前纪录:在 M5 Mac 上相对基线提速 140.7%(解码 158.2 tok/s、预填充 953.5 tok/s),共 17 个提交、7 个 solver
- 评分公式为 prefill^0.25 × decode^0.75,解码权重占 3/4
- 比赛持续至 10 月 1 日,门槛低,普通用户也能参与
「Infra」频道最新
- 德国荷兰投4000万欧元,挑战用AI设计AI芯片 — VraserX · 2026-09-26
- AMD 称一颗工厂级芯片能多跑 2.3 倍软件工人 — shashib · 2026-09-26
- Token 降价靠补贴，摩尔定律靠制造，驱动力截然不同 — HanchungLee · 2026-09-26
- KV Cache 移植实验:Q6 起步 Q3 续跑,质量反超全程低量化 — wadeAlexC · 2026-09-26
- Google 开源 GKE Agentic Migration,用守护护栏实现 EKS 迁移 GKE — rseroter · 2026-09-26
- 马斯克：中国发电量已超美欧印总和，约为美国 3 倍 — XFreeze · 2026-09-26