Ternary Bonsai 2 上架 Hugging Face:27B 三值权重推理模型仅 6GB
cephaloform · x · 2026-09-18
Ternary 发布 Bonsai 2,一个 27B 参数的推理模型,采用三值(ternary)权重,主打 agentic 场景。
核心数据:
- 比 FP16 版本小 9 倍,仍保留 98.2% 的智能表现
- 体积小于 6GB,可通过 WebGPU 在浏览器中 100% 本地运行
- 已上架 Hugging Face,可直接试用
这是极低比特量化推理模型面向端侧和浏览器部署的一次亮眼展示。
所属事件:PrismML 发布三值量化 Bonsai 2 27B：5.95GB 浏览器可跑(7 条相关)→
「Infra」频道最新
- RTX Pro 6000 上 Ninfer 跑 Qwen3.6 35B 达 600 tok/s — CharlesStross · 2026-09-18
- Cadence：印度EDA市场2031年将达78亿美元 — bookwormengr · 2026-09-18
- Google 开源 Agent Substrate:单机塞千个休眠 Agent,恢复仅 500ms — blaizedsouza · 2026-09-18
- Reddit 网友把 6 张 V100 塞进普通全塔机箱搭本地推理服务器 — Odd_Caterpillar_2994 · 2026-09-18
- Crusoe 融资 39 亿美元建 AI 数据中心，估值达 309 亿 — TechCrunch AI · 2026-09-18
- GPU 编程打卡第 257 天：推荐 2.5 小时半导体供应链入门课 — blaizedsouza · 2026-09-18