Bonsai 2 27B 三值压缩至 5.9GB,体积缩小 9 倍保留 98.2% 性能
MaziyarPanahi · x · 2026-09-18
PrismML 发布 Ternary Bonsai 2 27B:基于 Qwen3.8 27B,采用 {-1, 0, +1} 三值权重加 FP16 分组缩放,等效每权重 1.76 bit,整模型仅 5.9GB,比全精度原模型小 9 倍以上,同时保留 98.2% 的综合基准性能。
支持 262K 上下文、图文多模态输入,Apache 2.0 开源。相比第一代 Bonsai 27B,推理、编码、视觉和长程 Agent 能力都更强。博主实测在 Mac Studio 上本地跑读药单:两张照片即识别出剂量从 5mg 改为 10mg、另一药品缺失,单次运行约 5.7 秒。
所属事件:Bonsai 2 27B三值量化发布,5.9GB保留98.2%性能(20 条相关)→
「Infra」频道最新
- llama.cpp 无训练稀疏解码:128k 上下文解码提速 1.72 倍 — topppggg · 2026-11-16
- llama.cpp 用 HF Buckets 与 HF Jobs 重构 CI,应对日均 35 个 PR 的压力 — ggerganov · 2026-11-16
- 印度 Sarvam 推出 Token Factory:在本土托管全套开源模型推理 — HarveenChadha · 2026-11-16
- ZGX Fury 实测:Qwen3.8-Flash-Next 跑出 351 tok/s,本地 Agent/RAG 全流程演示 — Sam Witteveen · 2026-11-16
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16