27B 三值模型 Ternary-Bonsai-2 登 HF 趋势,主打 2-bit 端侧推理
prism-ml · hf · 2026-09-18
prism-ml 的 Ternary-Bonsai-2-27B 冲上 Hugging Face 趋势榜,是面向 text-generation 的开源模型。
- 以 GGUF 格式发布,可直接在 llama.cpp 中运行,支持 CUDA 与 Metal
- 采用三值(ternary)量化、约 2-bit 权重,主打本地/端侧部署
- 架构上使用 hybrid-attention(混合注意力),兼顾端侧效率
所属事件:Bonsai 2 27B三值量化发布，5.9GB保留98.2%性能(20 条相关)→
「Infra」频道最新
- Gary Marcus:多米诺骨牌开始倒下,算力将重演光纤过剩 — GaryMarcus · 2026-11-02
- 单台 H200 跑不动 DeepSeek 4.1 Flash，两台每小时 10.59 美元 — daluoseo · 2026-11-02
- 所有系统知识都将汇入推理与硬件，AI 时代技能版图正在重写 — Abhishekcur · 2026-11-02
- AWS 被曝算力订满至 2027，专家称「卖光」说法需看语境 — DavidLinthicum · 2026-11-02
- 富士康董事长刘扬伟：AI 不是泡沫，产品需求依然明确 — pstAsiatech · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02