iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重
Chance-Resource-4970 · reddit · 2026-11-16
开发者 Russell 的应用 Inpherio Live(正在过 App Store 审核)能把 iPhone/iPad 变成本地 AI 服务器,零云端依赖。核心技巧:改造 llama.cpp,把 MoE 权重直接从闪存流式读取、只把激活的专家留在 RAM,绕过 iOS 单应用约 6GB 内存上限。
实测数据(2026 年 11 月):
- gpt-oss 120B(58.5GB 文件)在 16GB M1 iPad Pro:4.5 token/s(从存储加载)
- Qwen3 30B(17.3GB)在 12GB iPhone 17 Pro Max:10.9 token/s
- Qwen3 30B 在 16GB M1 iPad Pro:16.5 token/s
- Qwen2.5 1.5B 在 iPhone 17 Pro Max:58.3 token/s(驻内存)
功能:
- 完整 OpenAI(/v1/chat/completions、/v1/responses、/v1/embeddings、/v1/audio/)与 Ollama API 兼容,改 base URL 即可用
- 本地 Vision(Qwen2.5-VL、Gemma 3、SmolVLM2)、Whisper STT、Kokoro 神经 TTS
- 按请求自动加载模型,最多保留 3 个「热」模型,跟踪 iOS 真实内存上限防杀进程
- 无账号、无遥测、0 字节上云
从存储流式跑大 MoE 模型将作为一次性买断(Live Plus),其余功能免费。
「编程与Agent」频道最新
- 编码 agent 缓存撑爆硬盘,Plonge 一键安全清理帮 Mac 找回 40GB — JordanMorgan10 · 2026-11-16
- Teknium 提醒:勿用 900k 版 GPT 模型,272k 上下文后额外计费 — Teknium · 2026-11-16
- ChatGPT 商业 agent 实机首秀,agent builder 同步亮相 — gaganghotra_ · 2026-11-16
- Scenario 免费上线 AI 创作者学院:17 门课 90 课时覆盖图视音 3D — smtabatabaie · 2026-11-16
- 开源 AI 工程课自带 Agent 导师:装进 Claude Code 就能一对一授课 — ghumare64 · 2026-11-16
- 让 Claude 把自己装进你的 artifact,用户用量算各自的 — TawohAwa · 2026-11-16