27B 三值模型 Ternary-Bonsai-2 登 HF 趋势,主打 2-bit 端侧推理
prism-ml · hf · 2026-09-18
prism-ml 的 Ternary-Bonsai-2-27B 冲上 Hugging Face 趋势榜,是面向 text-generation 的开源模型。
- 以 GGUF 格式发布,可直接在 llama.cpp 中运行,支持 CUDA 与 Metal
- 采用三值(ternary)量化、约 2-bit 权重,主打本地/端侧部署
- 架构上使用 hybrid-attention(混合注意力),兼顾端侧效率
所属事件:PrismML 发布三值量化 Bonsai 2 27B：6GB 即可在浏览器跑 27B 模型(8 条相关)→
「Infra」频道最新
- 神秘买家豪掷 1 亿美元权利金，狂买 10 月 2 日到期 AI 股看涨期权 — toptickcrypto · 2026-09-18
- 首届 PyTorch Day Japan 定档 12 月 10 日东京举办 — PyTorch · 2026-09-18
- 自建 Blackwell Colab 管线：2 小时 MiniMax H3 视频只要 $6.96 — Interesting-Town-433 · 2026-09-18
- LaurieWired 在 CppCon 主题演讲谈内存层级新趋势 — lauriewired · 2026-09-18
- NVIDIA 直播:用 CUDA 全栈支撑金融、医疗、制造业的专用 AI 负载 — NVIDIA Developer · 2026-09-18
- RTX Pro 6000 上 Ninfer 跑 Qwen3.6 35B 达 600 tok/s — CharlesStross · 2026-09-18