专题 · FULL STORY

PrismML 三值模型 Bonsai 2 开源与实测

PrismML 于 10 月 15 日以 Apache 2.0 许可开源三值模型系列 Bonsai 2，新增 2B、4B、9B 三个规格，9B 仅需 2GB 即可在手机上运行。随后实测者完成系列评测，认为 4B 是甜点位。

2026-10-16 ~ 2026-10-17 · 2 集 · 12 条

第 1 集 · PrismML 开源三值模型 Bonsai 2：9B 仅 2GB 可跑手机(2026-10-16,10 条)

PrismML 于 10 月 15 日以 Apache 2.0 许可开源三值（ternary）模型系列 Bonsai 2，新增 2B、4B、9B 三个规格，与已有的 27B 组成完整系列，均基于 Qwen3.5 训练。权重分别仅 0.43GB、0.95GB 和 2.0GB（约 1.8 bit/weight），其中 9B 为视觉语言模型，面向手机、PC、可穿戴等日常设备及本地 agent 场景，是端侧 AI 普及方向上的代表性进展。

已确认

  • 模型规格：2B（0.43GB）、4B（0.95GB）、9B（2.0GB），基于 Qwen3.5，Apache 2.0 开源权重，约 1.8 bit/weight 的三元量化；PrismML 的三元权重技术宣传主打省 14 倍内存、快 8 倍、省 5 倍能耗
  • 据 @lmoroney，新增的三款型号加入原有 27B，构成完整系列；9B 为视觉语言模型，被压缩到约 2GB
  • 已在 Hugging Face 上架 Bonsai 2 Small 合集，含 GGUF 与 MLX 2bit 量化版本，支持 WebGPU 运行（据 @cephaloform）
  • 2B 版本借助自定义 WebGPU 内核可在 M4 Max 上完全在浏览器内本地运行，速度最高约 500 tok/s（据 @xenovatech）
  • 官方强调推理、视觉理解与工具调用能力；据转发帖称其指令遵循表现反超 Qwen3.5
  • @tcarambat 计划实测新系列是否仍存在前代 Bonsai 的循环复读问题，结果未出
  • 设计理念：据 @cephaloform 转述 HessianFree 的概括，手机端模型重在听指令、调对工具、少说废话，而非追求极端智力上限

尚未确认

  • @victormustar 的转发帖称系列覆盖 2B/4B/9B/27B 四个规模；结合 @lmoroney 的说法，27B 应为此前已有模型而非本批新增，仍待官方口径进一步澄清
  • 「指令遵循反超 Qwen3.5」的说法仅见于转发帖，未附评测细节，需谨慎看待

为什么重要

三值量化把 9B 视觉语言模型压到 2GB 以内，使中端手机等消费设备本地运行较大模型成为现实；浏览器内 500 tok/s 的实测速度进一步降低了端侧 AI 的使用门槛，也展示了三值量化技术在本地 agent 场景的实用潜力。

第 2 集 · Bonsai 2 三值小模型实测：4B 成甜点位(2026-10-16,2 条)

实测者对 Bonsai 2 系列（2B/4B/9B）三值开源权重模型进行评测，并给出与教师模型 Qwen3.8-27B 的七项基准完整对比。结果显示 4B 被认为是最佳性价比选择，仅需 1GB 显存即可运行，编码与通用 Agent 任务能力达到 Qwen3.8 27B 的八至九成；而 27B 级别在个别技能上意外表现不佳。