35B 三值模型塞进 iPhone:Millie 仅约 4GB 内存离线运行
MannyKayy · x · 2026-09-19
LLMs For All 公司推出 iPhone 离线 AI 应用 Millie,在约 4GB 内存中运行 35B 参数三值(ternary)大模型,在测试的所有基准上全面超过 Bonsai 27B 1-bit,生成速度快约 60%,内存占用更低。
- 无账号、无服务器、完全离线运行,主打隐私
- 提供旗舰 35B 模型(支持图片理解、可调推理强度)和更快的 Millie Flash 轻量版
- 旗舰模型需 8GB 内存(iPhone 15 Pro 及以上),Flash 版 6GB 即可;模型下载约 2GB / 8.6GB
- 开放权重与运行时,可在 App Store 免费下载
「Infra」频道最新
- 16GB 显存玩家的真实写照（梗图） — tassa-yoniso-manasi · 2026-09-19
- antirez:API 定价如大富翁钞票,真实度量应是能耗焦耳 — mitsuhiko · 2026-09-19
- 家用微型数据中心绑热水器,伦敦用户月省 10-15 英镑取暖费 — nordicinst · 2026-09-19
- DiffusionGemma 变身 DJev，手机上近实时跑视觉检测 — PMinervini · 2026-09-19
- Reddit 网友魔改 llama.cpp:双卡异构跑 Qwen3 27B 至 262k 上下文 — comperr · 2026-09-19
- PyTorch 大会将演示 CRCR:下游仓库可无缝接入上游 CI — PyTorch · 2026-09-19