三进制 2-bit 端侧模型 Ternary-Bonsai-2-9B 上架 HF,支持视觉输入
prism-ml · hf · 2026-10-21
prism-ml 发布的 Ternary-Bonsai-2-9B GGUF 量化模型登上 Hugging Face 趋势榜。该模型为 image-text-to-text 多模态管线,主打 ternary 2-bit 低位宽量化,基于 llama.cpp 生态,支持 CUDA、Metal 后端,面向 on-device 本地部署,采用 hybrid-attention 架构。对端侧/本地推理玩家是一个值得关注的低算力视觉语言模型选项。
「Infra」频道最新
- 爆料称 DeepSeek 缺的是算力:1GW 集群可训出远强于 V4.1F 的模型 — teortaxesTex · 2026-10-21
- 单一集群日吐 155 万亿 token,Neocloud 每卡每小时收入达 38 美元 — basedjensen · 2026-10-21
- DeepSeek 每 GPU 小时进账 38 美元,推理定价空间引行业讨论 — andrew_n_carr · 2026-10-21
- 超大规模云厂商人士:GPU 订购到装机 1-2 季度延迟属正常 — BenBajarin · 2026-10-21
- Efficient Computer 芯片能效提升百倍,入选时代周刊最佳发明 — rebeccakaden · 2026-10-21
- 单卡 RTX PRO 6000 跑 Nemotron 3.5 Super 实现 300 万 token 池 — TechNerd10191 · 2026-10-21