Prism ML 推出基于 Qwen 3.5 的三元权重 Bonsai 2 系列小模型
tcarambat · reddit · 2026-10-16
Prism ML（宣传主打省 14 倍内存、快 8 倍、省 5 倍能耗的三元权重技术）发布 Bonsai 2 系列模型：2B、4B、9B，基于 Qwen 3.5。发帖人计划实测是否还有前代 Bonsai 模型的循环复读问题，并指出几个实用点：
- 目前必须用其 llama.cpp fork（prism 分支），原版 llama.cpp 不支持
- 支持推测解码（dFlash、MTP）和 MLX 以提升 TPS，iOS 上已可用 LocallyAI 实测
- 作者怀疑其 QAT 式训练让跑分好看但实际部署体验不同，前代经验是同参数量下记忆表现更好，期待它能在端侧胜过 Qwen 3.5 1.7B/0.8B
作者还考虑为 AnythingLLM Mobile 提供支持。
所属事件:PrismML 开源三值模型 Bonsai 2：2B 仅 0.43GB 浏览器可跑(8 条相关)→
「模型」频道最新
- 五轮对抗后输出趋同：Claude Opus 5.5 与 Argon 创作实验结果诡异一致 — LanceCharger · 2026-10-16
- 自建「主观判断」基准：18 个模型一致性测试，GLM-5.3 登顶 — arkuto · 2026-10-16
- Bindu Reddy 实测:Argon 擅长复杂文档写作,成本仅 Opus 一半 — bindureddy · 2026-10-16
- MAI-2 比 V4-Pro 大 2 倍，微软 scaling 阶梯效率存疑 — teortaxesTex · 2026-10-16
- 阶跃 Step 5 Preview 上线 DeepInfra:600B MoE、1M 上下文,百万 token 输入 $1 — StepFun_ai · 2026-10-16
- Liquid AI 最大决策模型 d1-ultra 上架 OpenRouter,输入定价 $0.042/百万 token — JosephJacks_ · 2026-10-16