PrismML 开源三值模型 Bonsai 2：9B 仅 2GB 可跑手机
PrismML 于 10 月 15 日以 Apache 2.0 许可开源三值（ternary）模型系列 Bonsai 2，新增 2B、4B、9B 三个规格，与已有的 27B 组成完整系列，均基于 Qwen3.5 训练。权重分别仅 0.43GB、0.95GB 和 2.0GB（约 1.8 bit/weight），其中 9B 为视觉语言模型，面向手机、PC、可穿戴等日常设备及本地 agent 场景，是端侧 AI 普及方向上的代表性进展。
已确认
- 模型规格：2B（0.43GB）、4B（0.95GB）、9B（2.0GB），基于 Qwen3.5，Apache 2.0 开源权重，约 1.8 bit/weight 的三元量化；PrismML 的三元权重技术宣传主打省 14 倍内存、快 8 倍、省 5 倍能耗
- 据 @lmoroney，新增的三款型号加入原有 27B，构成完整系列；9B 为视觉语言模型，被压缩到约 2GB
- 已在 Hugging Face 上架 Bonsai 2 Small 合集，含 GGUF 与 MLX 2bit 量化版本，支持 WebGPU 运行（据 @cephaloform）
- 2B 版本借助自定义 WebGPU 内核可在 M4 Max 上完全在浏览器内本地运行，速度最高约 500 tok/s（据 @xenovatech）
- 官方强调推理、视觉理解与工具调用能力；据转发帖称其指令遵循表现反超 Qwen3.5
- @tcarambat 计划实测新系列是否仍存在前代 Bonsai 的循环复读问题，结果未出
- 设计理念：据 @cephaloform 转述 HessianFree 的概括，手机端模型重在听指令、调对工具、少说废话，而非追求极端智力上限
尚未确认
- @victormustar 的转发帖称系列覆盖 2B/4B/9B/27B 四个规模；结合 @lmoroney 的说法，27B 应为此前已有模型而非本批新增，仍待官方口径进一步澄清
- 「指令遵循反超 Qwen3.5」的说法仅见于转发帖，未附评测细节，需谨慎看待
为什么重要
三值量化把 9B 视觉语言模型压到 2GB 以内，使中端手机等消费设备本地运行较大模型成为现实；浏览器内 500 tok/s 的实测速度进一步降低了端侧 AI 的使用门槛，也展示了三值量化技术在本地 agent 场景的实用潜力。
2026-10-16 ~ 2026-10-17 · 10 条相关
- 第 1 集:PrismML 开源三值模型 Bonsai 2：9B 仅 2GB 可跑手机(2026-10-16,10 条)
- 第 2 集:Bonsai 2 三值小模型实测：4B 成甜点位(2026-10-16,2 条)
一手来源
- Ternary Bonsai 2 开源发布:2B 模型浏览器内跑到 500 tok/s — xenovatech ·
- PrismML 开源 Ternary Bonsai 2：9B 视觉语言模型压进约 2GB — lmoroney ·
- Prism ML 推出基于 Qwen 3.5 的三元权重 Bonsai 2 系列小模型 — tcarambat ·
- 【源头】Ternary Bonsai 2 开源发布:2B 模型浏览器内跑到 500 tok/s — xenovatech · 2026-10-16
- Bonsai 2 理念:手机模型不必证明黎曼猜想,听话少废话就行 — cephaloform · 2026-10-16
- PrismML 发布 Bonsai 2 三值模型:9B 仅 2GB,指令遵循反超 Qwen3.5 — calabi_and_yau · 2026-10-16
- Bonsai 2 小型多模态模型上架 HF，2bit/三值权重可跑 WebGPU — cephaloform · 2026-10-16
- 【源头】Prism ML 推出基于 Qwen 3.5 的三元权重 Bonsai 2 系列小模型 — tcarambat · 2026-10-16
- 【源头】PrismML 开源 Ternary Bonsai 2：9B 视觉语言模型压进约 2GB — lmoroney · 2026-10-17
另有 4 条近重复转述:gajesh · gajesh · victormustar · lmoroney