Gemma 4 26B 通过 model paging 跑在 iPhone 17 Pro 上
Agreeable-Rest9162 · reddit · 2026-07-25
Noema 创始人展示了一个很典型的 端侧部署案例：把 Gemma 4 26B A4B 通过 model paging 跑在 iPhone 17 Pro 上。
他的做法是把非专家权重放在 RAM 里，再从 SSD 读取专家权重，从而用速度换取“手机能跑大模型”的可能。帖子给出了具体性能：初始 prompt 699 tokens，prefill 速度 34.4 tk/s，prefill 用时 20.34 秒，decode 速度 3.5 tk/s；整段回答大约 6 分钟完成。作者认为，这种方案在“准确性比时延更重要”的场景里可能很有价值，也适用于低内存 MacBook。
「Infra」频道最新
- NVIDIA 称 Nemotron 3 Ultra 在 RTL 芯片设计任务上达 97.1% — NVIDIAAI · 2026-07-27
- 本地 Qwen 模型驱动机械臂测试 78 款手机续航 — gappyvalley · 2026-07-27
- MiniBot 2.40 新增 xAI、HF Studio 和 vLLM 支持 — Creative-Type9411 · 2026-07-27
- 苹果智能眼镜、英伟达SK合作与携程51.79亿罚单汇总 — APPSO · 2026-07-27
- DeepSeek 融资传闻、欧盟 AI 透明度规则与 OpenAI 安全事故 — 创业邦 · 2026-07-27
- QuixiCore 主张原生量化内核取代先反量化再执行 — QuixiAI · 2026-07-27