PrismML 发布 Bonsai 2 三值模型:9B 仅 2GB,指令遵循反超 Qwen3.5
calabi_and_yau · x · 2026-10-16
PrismML 发布基于 Qwen3.5 的三值(ternary)模型系列 Bonsai 2,含 2B/4B/9B 三个尺寸,体积分别仅 0.43GB、0.95GB 和 2.0GB,面向手机、PC、可穿戴等端侧本地部署。
关键点
- 专注于本地助手实用性:指令遵循、避免重复循环、移动端工具调用、输出精简
- 9B 模型在标准指令遵循和日常数学任务上比原版少用约 40% token
- 评测表显示:Bonsai 各尺寸在指令遵循(IFEval/IFBench)和 One-Shot Coding 上反超对应的 Qwen3.5 原版,数学成绩接近原版,但知识推理与视觉理解有所下降
- Apache 2.0 开源,系列覆盖 2B 到 27B 四个尺寸,定位是为本地应用提供 agentic 功能基础
所属事件:PrismML 开源三值模型 Bonsai 2：2B 版手机可跑浏览器达 500 tok/s(6 条相关)→
「Infra」频道最新
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16
- AWS 延期 Claude Sonnet 3/3.5/3.6 EOL 至 2026 年 11 月 13 日 — repligate · 2026-10-16
- Apple、Meta CEO 热炒 Mac 芯片推理，有人断言分布式推理网络是百亿美元机会 — gajesh · 2026-10-16
- NVIDIA 74B 新模型登顶美国开源榜，已可本地跑在 Mac 上 — SumitGup · 2026-10-16
- Meta 开源 816B 模型 Muse Spark Open，Apple 调优 MLX 上 Mac — rohanpaul_ai · 2026-10-16
- RTX 3060 12GB 跑 74B MoE:2-bit 量化+专家卸载实测 — cephaloform · 2026-10-16