27B 级三值模型跑进10GB内存
tcarambat · reddit · 2026-07-15
帖子介绍 PrismML 新发布的 Bonsai 27B：一个把 Ternary / BitNet 思路扩展到 27B 规模的 Qwen 系模型。
作者强调它的几个点：
- 在 10GB 左右内存下就能跑 27B 级模型，且在 32K 上下文里表现接近 fp16 精度；
- 相比同尺寸的低比特量化版本，效果明显更好，目标是让更大的本地模型真正可用；
- 他们还展示了在 OpenComputer 里让模型获得整台电脑后做浏览器研究、生成 HTML 报告的演示。
文末还提到一些未完全确认的能力和生态信息，比如 dFlash、MTP 支持、256K 上下文与多模态输入，以及正在提供的 llama.cpp 和 MLX 分支。作者把这次发布看得比一些更大名气的模型更新更重要，认为它可能是本地/端侧开放模型的一个新节点。
所属事件:Bonsai 27B 发布：首个可在手机运行的 27B 模型(15 条相关)→
「Infra」频道最新
- Galaxy S26 纯端侧跑 MiniMax H3：7 分钟生成 5 秒带音频视频 — BidFunny4862 · 2026-10-27
- Unconventional AI 收购 NeuReality,冲刺算力效率提升 1000 倍 — NaveenGRao · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27