iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重

Chance-Resource-4970 · reddit · 2026-11-16

开发者 Russell 的应用 Inpherio Live(正在过 App Store 审核)能把 iPhone/iPad 变成本地 AI 服务器,零云端依赖。核心技巧:改造 llama.cpp,把 MoE 权重直接从闪存流式读取、只把激活的专家留在 RAM,绕过 iOS 单应用约 6GB 内存上限。

实测数据(2026 年 11 月):

功能:

从存储流式跑大 MoE 模型将作为一次性买断(Live Plus),其余功能免费。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →