Bonsai 2 27B 三值压缩至 5.9GB，体积缩小 9 倍保留 98.2% 性能

MaziyarPanahi · x · 2026-09-18

PrismML 发布 Ternary Bonsai 2 27B：基于 Qwen3.8 27B，采用 {-1, 0, +1} 三值权重加 FP16 分组缩放，等效每权重 1.76 bit，整模型仅 5.9GB，比全精度原模型小 9 倍以上，同时保留 98.2% 的综合基准性能。

支持 262K 上下文、图文多模态输入，Apache 2.0 开源。相比第一代 Bonsai 27B，推理、编码、视觉和长程 Agent 能力都更强。博主实测在 Mac Studio 上本地跑读药单：两张照片即识别出剂量从 5mg 改为 10mg、另一药品缺失，单次运行约 5.7 秒。