开源 iOS 应用 Pocket AI Lab:三后端在 iPhone 本地跑 LLM
Ammoryyy · reddit · 2026-09-10
开发者发布了 MIT 协议开源、完全免费的 iOS 应用 Pocket AI Lab，可在 iPhone 上完全本地运行大语言模型——无云、无账号、无付费层，数据不出设备。
核心设计与亮点:
- 三个推理后端并排:MLX、llama.cpp 和 Core ML，按模型选用，三条技术路线同步跟进。贴入 Hugging Face 链接即可自动识别格式、列出可用量化版本并预判能否装进设备；也可从文件导入 .gguf，或从免发版更新的精选列表选模型。
- iOS 内存限制的工程细节:第三方应用有约一半 RAM 的 jetsam 硬上限。llama.cpp 用 mmap 加载 GGUF 权重，作为文件映射页不被 jetsam 计入，11GB 手机上能用到约 8GB;MLX 和 Core ML 把权重拷进 dirty buffer，只有约 4.5GB。同一台手机、同一个模型，一个后端能跑一个被拒。App 会按设备算好两种预算，超载时直接拒绝而非中途崩溃。
- 实测基准:每个模型都可在本机测加载时间、prompt 处理速度、带标准差的 tokens/sec、峰值内存和热状态，外加机器可检的质量任务。还有自动构建测试:下载目录里设备能跑的所有模型、逐一基准测试并生成一份报告。
代码在 GitHub,应用已上架 App Store。首版的严重 bug(两个后端没打进构建、长 prompt 崩溃等)已在首周用户反馈中修复。
「Infra」频道最新
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26
- Meta 拟发售至多 950 亿美元股票为 AI 基建输血 — The Decoder · 2026-10-26