27B 模型能塞进 iPhone
ElmBark · reddit · 2026-07-17
PrismML 把基于 Qwen3.6-27B 的 Bonsai 做成了可在 iPhone 本地运行的版本，核心做法是把权重压到 1-bit。
- 原始模型约 54GB，量化后只有 3.9GB，足以放进手机
- 采用真正的 binary quantization：每个权重只有 1 个符号位，每 128 个共享一个 FP16 scale
- 连 embeddings、attention/MLP 投影和 LM head 也都做成了二值化，这一点比较少见
- 在 15 个 benchmark 上，平均分从 FP16 版的 85.1 降到 76.1，大约保留 89.5%
- 数学类任务保留得最好（91.7%），知识和推理下降更明显
- 内存占用也较低：4K context 约 5.2GB，100K context 约 6.8GB（4-bit KV cache）
原帖还提到，这个版本已经能通过 Atomic Chat 在 iPhone 15 Pro Max 上运行。
「Infra」频道最新
- AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
- Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Supabase 联创谈 AI 时代后端：为十亿个 AI 生成应用而设计 — Latent Space · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站：数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27