27B 模型在 iPhone 上运行
Prompt Engineering · youtube · 2026-07-15
视频拆解了 Prism ML 如何把一个 **27B 参数的 Qwen 系模型**压到能在 **iPhone 17 Pro** 上跑，速度约 **11 tokens/s**： - 通过 **1-bit Bonsai** 方法把模型从约 **54GB** 压到 **3.9GB**。 - 讲解了量化基础：从 16-bit 到 8/4-bit、ternary、1-bit 的差异，以及为什么朴素的后训练量化会因为误差累积而失效。 - 对比了常见开源路线：**llama.cpp** 的混合精度、**GPTQ** 的校准感知量化、**AWQ** 的激活感知量化，这些通常在约 4-bit 还可用，但到 2/1-bit 会崩。 - 介绍了受 **BitNet** 启发的量化感知训练、端到端 1-bit/ternary 方案（包括 LM head）、4-bit vision tower 的多模态支持、**262K** 上下文窗口，以及用 speculative decoding 降低延迟。 - 还提到基准测试、每 GB 的“智能密度”、工具调用短板，以及作者自己在 **M2 Max** 上的 1-bit 测试结果：约 **29–30 tok/s**，但在更难任务上会出现循环。
所属事件:Qwen 27B模型经极端量化成功登陆手机端(2 条相关)→
「Infra」频道最新
- 一张图对比：Moonshot 在养心智，DeepSeek 在建电网 — teortaxesTex · 2026-07-21
- FlashRT：利用智能体优化多模态应用部署，B200延迟降低70倍 — Krish Agarwal · 2026-07-21
- Reddit 用户设计四层本地 AI 机房：vLLM 到 OPNsense 全分层 — povedaaqui · 2026-07-21
- 现货内存价飙升 140%，合约重定价开始滞后 — tengyanAI · 2026-07-21
- 有人把 AI 使用方式指向异步长周期实验而非单买算力 — voooooogel · 2026-07-21
- PrismML Bonsai 27B 量化后仅 3.8GB 可手机运行 — tony10000 · 2026-07-21