PrismML 发布三值开源模型 Bonsai 2,2B 仅 0.43GB 可跑在手机上
gajesh · x · 2026-10-16
PrismML 发布开源权重三值(ternary)模型 Bonsai 2,共 2B、4B、9B 三个规格，基于 Qwen3.5,面向日常设备本地运行：
- 体积极小：2B 仅 0.43GB、4B 0.95GB、9B 2.0GB
- 端侧速度：2B 在 iPhone 17 Pro Max 上达 90 tokens/sec;9B 推理、视觉理解、工具调用全部本地完成，首发即 170+ tokens/sec
- 实用性优先：聚焦指令遵循、避免重复循环、移动端工具调用；9B 在标准指令遵循与日常数学任务上 token 用量减少约 40%
配套还有两个加速活动：mlx.fast 上已有人用投机解码把 9B 在 Mac 上提速 13%(decode 146.5→171.1 tok/s),NVIDIA DGX Spark 赛道同步开放，任何新纪录都公开可复用。
所属事件:PrismML 开源三值模型 Bonsai 2，9B 仅 2GB 可跑手机(6 条相关)→
「Infra」频道最新
- FT 称 AI 算力债券面临「达尔文时刻」，CoreWeave 债价暴跌 — firstadopter · 2026-10-16
- 手机当界面、家里服务器跑模型:一套本地 AI 双工作流 — EAccelerate_42 · 2026-10-16
- 「数据中心就是银行」:CoreWeave 风波引出算力监管类比 — arthurcolle · 2026-10-16
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16