Bonsai 2 9B 在 Mac 上被加速 468%，接近千 token/秒解码
HankYeomans · x · 2026-10-21
TheDavidTai 团队在自定义 dflash2 runner 上做大量调优后,Bonsai 2 9B 在 mlx.fast 榜单上以投机解码跑到接近 1000 tok/s(当前纪录 956.6 tok/s 解码、6818 tok/s 预填充,比参考实现快 468%),登上 Mac 平台榜首。
关键发现:结果暗示,如果能正确分类 prompt,可以构建一族「缩减词表、按主题特化」的投机草稿模型(drafter),进一步压榨推理速度。作者表示这种算力受限的竞赛比限时赛更有意思。榜单已有 120 个晋级提交、13 位解题者,头部成绩多由 Opus 5.5、DeepSeek-V4、GPT-6 Astra 等模型的辅助工作产出。
「Infra」频道最新
- NVIDIA 联手六大封测厂扩产：基板产能 3 年翻 2.5 倍 — nvidia · 2026-10-21
- 美光谈存储协同设计：与客户从共研到量产的 AI 存储五段路线 — BenBajarin · 2026-10-21
- 孟菲斯投票通过暂停新建数据中心 135 天 — Polymarket · 2026-10-21
- 美光发布 AI 级 NAND 设计：高 IOPS 与高带宽两条产品线瞄准 KV cache — BenBajarin · 2026-10-21
- 美光高管：HBM 挤压标准 DRAM 晶圆产能，或持续到 2030 — BenBajarin · 2026-10-21
- Gemini 4 Argon 上线仅 3 天处理约 25 万亿 token — Polymarket · 2026-10-21