PrismML 发布三值化 Bonsai 2 27B:仅 5.9GB 保留 98.2% 性能
pcuenq · x · 2026-09-18
PrismML 发布 Ternary Bonsai 2 27B,基于 Qwen3.8 27B 做三值量化,体积比全精度版本小 9 倍(约 5.9GB),但保留母模型 98.2% 的综合基准成绩。
- 距首代 Bonsai 27B 发布两个月,本次最大提升在质量:与全精度的差距明显缩小
- 强项包括 agentic 编码、多模态推理与长程工具使用
- 在 M5 Max 上以 55 tok/s 运行,模型体积不到 6GB
- 以 Apache 2.0 协议开源
所属事件:Bonsai 2 27B三值量化发布,5.9GB保留98.2%性能(20 条相关)→
「Infra」频道最新
- 印度 Sarvam 推出 Token Factory:在本土托管全套开源模型推理 — HarveenChadha · 2026-11-16
- ZGX Fury 实测:Qwen3.8-Flash-Next 跑出 351 tok/s,本地 Agent/RAG 全流程演示 — Sam Witteveen · 2026-11-16
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16