Ternary-Bonsai-27B 本地实测
pbaylies · x · 2026-07-15
转发内容展示了 Ternary-Bonsai-27B 在单张 3090 上的运行表现，重点是量化和推理效率：
- llama-bench 下，在不同上下文长度（32k / 64k / 128k）时的吞吐分别约为 956 / 830 / 547 t/s。
- 使用 llama-server 和 dspark speculative decoding 后，最大上下文可到 132k。
- 显存占用约 23.3GB，解码速度约 44 t/s，比基线约提升 1.5×。
- 原帖还提到该系列包括 1-bit / ternary 版本、262K token 上下文，以及更小的 companion 模型，主打低显存部署。
整体来看，这是一次面向本地推理的模型发布/实测，关注点在于量化压缩、长上下文和推理加速效果。
所属事件:Bonsai 27B 发布：首个可在手机运行的 27B 模型(15 条相关)→
「Infra」频道最新
- 影子算力市场走向台前,Meta 对外出售过剩 GPU 算力成标志性信号 — DavidLinthicum · 2026-09-11
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11
- 劝退帖:推理工程是真金白银的硬活,八成尝鲜者已悄然放弃 — abhijithneil · 2026-09-11
- Hugging Face《Ultra Scale Playbook》:GPU 集群训练 LLM 的免费技术书 — mdancho84 · 2026-09-11
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11