开源 iOS 应用 Pocket AI Lab:三后端在 iPhone 本地跑 LLM
Ammoryyy · reddit · 2026-09-10
开发者发布了 MIT 协议开源、完全免费的 iOS 应用 Pocket AI Lab，可在 iPhone 上完全本地运行大语言模型——无云、无账号、无付费层，数据不出设备。
核心设计与亮点:
- 三个推理后端并排:MLX、llama.cpp 和 Core ML，按模型选用，三条技术路线同步跟进。贴入 Hugging Face 链接即可自动识别格式、列出可用量化版本并预判能否装进设备；也可从文件导入 .gguf，或从免发版更新的精选列表选模型。
- iOS 内存限制的工程细节:第三方应用有约一半 RAM 的 jetsam 硬上限。llama.cpp 用 mmap 加载 GGUF 权重，作为文件映射页不被 jetsam 计入，11GB 手机上能用到约 8GB;MLX 和 Core ML 把权重拷进 dirty buffer，只有约 4.5GB。同一台手机、同一个模型，一个后端能跑一个被拒。App 会按设备算好两种预算，超载时直接拒绝而非中途崩溃。
- 实测基准:每个模型都可在本机测加载时间、prompt 处理速度、带标准差的 tokens/sec、峰值内存和热状态，外加机器可检的质量任务。还有自动构建测试:下载目录里设备能跑的所有模型、逐一基准测试并生成一份报告。
代码在 GitHub,应用已上架 App Store。首版的严重 bug(两个后端没打进构建、长 prompt 崩溃等)已在首周用户反馈中修复。
「Infra」频道最新
- CUDA 13.4 支持 Windows on Arm，为 10 月 RTX Spark AI 笔记本铺路 — kimmonismus · 2026-09-10
- 纯 C 引擎 colibri 走红：从磁盘流式加载专家，本地跑前沿 MoE — JustVugg · 2026-09-10
- HBM 明年营收份额或超 40%,三星扩产挑战 SK 海力士霸主地位 — zephyr_z9 · 2026-09-10
- 云厂商 CPU 短缺加剧，中大型企业预订资源越来越难 — mgill25 · 2026-09-10
- 「我们奔向无限能源」：Kardashev II 心态成 AI 圈新梗 — MarvinTBaumann · 2026-09-10
- Redis 语义缓存号称省 90% LLM 成本，四种缓存层详解 — blaizedsouza · 2026-09-10