PrismML 三值权重压缩：9B 多模态模型塞进约 2GB 本地运行
lmoroney · x · 2026-10-17
PrismML 发布 Ternary Bonsai 2 家族的 2B、4B、9B 三款新模型（Apache 2.0 开源），基于 Qwen3.5，与已有的 27B 组成完整系列，面向手机、PC、可穿戴等本地设备上的 agent 场景。
- 三值表示：每个权重只用 −1/0/+1 加小组缩放因子存储，2B/4B/9B 的体积分别约 0.43GB、0.95GB、2GB，比全精度对应模型小 9 倍以上。
- 优化重点：避免重复循环、指令遵循、移动端工具调用、控制输出冗长度，兼顾推理与视觉理解。
- 定位：在有限内存和功耗预算内支撑能在端侧自主决策、调用工具的本地 agent。
所属事件:PrismML 开源三值模型 Bonsai 2：9B 仅 2GB 可跑手机(10 条相关)→
「Infra」频道最新
- 两块 H200 跑 Nemotron 120B：Litespark 推理达每秒 962 token — NVIDIAAI · 2026-10-17
- 旧金山签署数据中心暂停令,Kwok 质疑「我们在干嘛」 — kevinakwok · 2026-10-17
- vLLM 原班人马创业做 Inferact：可控的高性价比推理平台 — Xianbao_QIAN · 2026-10-17
- 8 卡 AMD MI355X 跑 Kimi K3 吞吐超 B300 24.4%，每美元 token 多 87% — vllm_project · 2026-10-17
- Anthropic：Claude Code 首响应提速 3 倍，Claude API 快 1.5 倍 — ClaudeDevs · 2026-10-17
- 双 Mac 本地分体方案:M5 Pro 主脑 + M4 子代理跑编码 Agent — Calm-Set6265 · 2026-10-17