MiniCPM-V 4.7 上了手机:35B MoE 在 iPhone 上 3GB 内存跑出 13+ tokens/s
heyshrutimishra · x · 2026-10-16
这是 MiniCPM-V 4.7 系列介绍线程的收尾段,聚焦端侧性能:
- 系列有两个尺寸:上文演示用的 1B,以及该系列首个 MoE 模型 35B-A3B;
- 据 OpenBMB 团队数据,iPhone 17 Pro Max 上 35B-A3B 仅用 3GB 内存即报告 13+ tokens/s;
- iPad Pro 11" M4(16GB)上,借助 Lookahead Expert Scheduling,速度从 2.97 提升到 14.92 tokens/s;
- 1B 版 4-bit GGUF 约 672MB,两者均可在 Ollama 和 llama.cpp 上本地运行。
作者特别提醒:以上均为团队自己公布的数据,未附完整测试条件,需谨慎看待。
所属事件:面壁发布 MiniCPM-V 4.7:首个 MoE 版本可在手机端跑 35B(4 条相关)→
「Infra」频道最新
- GPU 租用平台 Lium 求供:B300 被_agent 租爆,_node 报酬高 80% — const_reborn · 2026-10-16
- Vercel Sandbox Drives 正式上线:亚秒挂载 TB 级数据 — cramforce · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16