开源框架让 35B MoE 模型跑进 16GB Mac:25+ tok/s,手机也能跑
dai_app · reddit · 2026-10-24
作者发布了一套基于 llama.cpp 的统一框架,可在全平台(Android/iOS/macOS/Windows/Linux)、任意量化格式下流式运行大型 MoE 模型,并自动在 CPU/GPU/NPU 间做资源分配以优化吞吐。实测 Qwen 35B(Q4KM)在 16GB Mac 上解码约 25+ tok/s,12GB Android 设备约 6 tok/s,iOS 约 3 tok/s(预填 300+ tok/s)。项目以 Apache 2.0 开源,大幅降低大 MoE 模型的端侧部署门槛。
「Infra」频道最新
- Muon 优化器或将砍半 LLM 训练算力，挑战十年 AdamW 霸主地位 — bycloud · 2026-10-24
- 一张信息图讲透 AI 能耗：从计算、散热到电网的系统性问题 — CurieuxExplorer · 2026-10-24
- 工程师分享用 Codex 打理基础设施运维的实战经验 — kuza55 · 2026-10-24
- 8GB 显卡跑 115B MoE 达 262K 上下文,70 token/s 实操指南 — jonathanx37 · 2026-10-24
- 机器人技术栈一周速览:力觉数据手套、Isaac Lab 3.0 与人形机器人进工厂 — AIFlow_ML · 2026-10-24
- 图表显示超大规模云厂商自由现金流从现金牛跌至近零 — SumitGup · 2026-10-24