27B 模型能塞进 iPhone
ElmBark · reddit · 2026-07-17
PrismML 把基于 Qwen3.6-27B 的 Bonsai 做成了可在 iPhone 本地运行的版本，核心做法是把权重压到 1-bit。 - 原始模型约 54GB，量化后只有 3.9GB，足以放进手机 - 采用真正的 binary quantization：每个权重只有 1 个符号位，每 128 个共享一个 FP16 scale - 连 embeddings、attention/MLP 投影和 LM head 也都做成了二值化，这一点比较少见 - 在 15 个 benchmark 上，平均分从 FP16 版的 85.1 降到 76.1，大约保留 89.5% - 数学类任务保留得最好（91.7%），知识和推理下降更明显 - 内存占用也较低：4K context 约 5.2GB，100K context 约 6.8GB（4-bit KV cache） 原帖还提到，这个版本已经能通过 Atomic Chat 在 iPhone 15 Pro Max 上运行。