35B 三值模型塞进 iPhone:Millie 仅约 4GB 内存离线运行
MannyKayy · x · 2026-09-19
LLMs For All 公司推出 iPhone 离线 AI 应用 Millie,在约 4GB 内存中运行 35B 参数三值(ternary)大模型,在测试的所有基准上全面超过 Bonsai 27B 1-bit,生成速度快约 60%,内存占用更低。
- 无账号、无服务器、完全离线运行,主打隐私
- 提供旗舰 35B 模型(支持图片理解、可调推理强度)和更快的 Millie Flash 轻量版
- 旗舰模型需 8GB 内存(iPhone 15 Pro 及以上),Flash 版 6GB 即可;模型下载约 2GB / 8.6GB
- 开放权重与运行时,可在 App Store 免费下载
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04