三值 2-bit 量化模型 Ternary-Bonsai-2-27B 登 HF 热榜
prism-ml · hf · 2026-09-18
prism-ml 的 Ternary-Bonsai-2-27B MLX 2-bit 量化版登上 Hugging Face 热门模型榜。该模型主打端侧部署，采用三值（ternary）量化和 prismhadamardqwen35 混合注意力方案，支持 CUDA 与 Metal 后端，目标是把 27B 级文本生成压到 2-bit 跑在本地设备上。
所属事件:PrismML 发布三值量化 Bonsai 2 27B：5.95GB 保留 98.2% 性能(11 条相关)→
「Infra」频道最新
- 博通推 VMware 私有 AI 云,瞄准公有云 AI 账单失控的企业 — DavidLinthicum · 2026-09-18
- 仅 0.05% 采样就能验证缓存，作者感叹整个系统省下的工作量惊人 — DanielLockyer · 2026-09-18
- TRL 新增异步 GRPO：经 HF Buckets 同步 LoRA 权重，训练耗时 3.5 小时缩至 53 分钟 — _lewtun · 2026-09-18
- 支付公司争抢推理入口：Stripe 携 OpenRouter、Ramp 切入推理链 — xkonjin · 2026-09-18
- 开源项目 DataFlow：把预训练前的数据清洗与合成做成可复用流水线 — Puzzleheaded_Box2842 · 2026-09-18
- Qdrant 四小时直播深挖向量搜索,回放已上线 — qdrant_engine · 2026-09-18