Ternary Bonsai 2 开源上新：2B 模型仅 430MB,浏览器内跑出 500 tok/s
victormustar · x · 2026-10-16
PrismML 在 Hugging Face 上追加了更多 Ternary Bonsai 2 开源模型，覆盖 2B/4B/9B/27B 四个规模。 weights 采用约 1.8 bit/weight 的三元量化：2B 语言模型权重仅 430MB、4B 约 950MB(8-bit 视觉权重另计约 365MB)。实测者称 2B 在 M4 Max 上通过自研 WebGPU kernel 完全在浏览器内达到最高 500 tok/s 的生成速度，认为这预示本地 agentic AI 的未来。
所属事件:PrismML 开源三值模型 Bonsai 2：2B 仅 0.43GB 浏览器可跑(8 条相关)→
「Infra」频道最新
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16
- 首个 TPUv7 Agent 基准成绩:vLLM 服务下每美元性能超 GB300 NVL72 达 1.42 倍 — vllm_project · 2026-10-16
- Phison CEO 称 CXMT 内存恐慌是“市场鬼故事”，明年的问题是缺料不缺单 — BenBajarin · 2026-10-16
- Ben Bajarin：算力未来是可互换的，超大规模厂商正为工作负载自由布局 — BenBajarin · 2026-10-16
- AirLLM 逐层加载：2.8 万亿参数模型宣称跑进 4GB 显存 — Aiden_Tech_Ai · 2026-10-16