27B 模型能塞进 iPhone
ElmBark · reddit · 2026-07-17
PrismML 把基于 Qwen3.6-27B 的 Bonsai 做成了可在 iPhone 本地运行的版本，核心做法是把权重压到 1-bit。
- 原始模型约 54GB，量化后只有 3.9GB，足以放进手机
- 采用真正的 binary quantization：每个权重只有 1 个符号位，每 128 个共享一个 FP16 scale
- 连 embeddings、attention/MLP 投影和 LM head 也都做成了二值化，这一点比较少见
- 在 15 个 benchmark 上，平均分从 FP16 版的 85.1 降到 76.1，大约保留 89.5%
- 数学类任务保留得最好（91.7%），知识和推理下降更明显
- 内存占用也较低：4K context 约 5.2GB，100K context 约 6.8GB（4-bit KV cache）
原帖还提到，这个版本已经能通过 Atomic Chat 在 iPhone 15 Pro Max 上运行。
「Infra」频道最新
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11