MiniCPM-V 4.7 发布: 首个 iPhone 上 13 token/s 的开源端侧 MoE
Skyline34rGt · reddit · 2026-10-13
OpenBMB 发布 MiniCPM-V 4.7 35B-A3B,系列首个 MoE 多模态模型,主打端侧高效推理:
- 借助 Lookahead Expert Scheduling(LES)、分层细粒度量化与 DSpark 投机采样,成为首个无损流畅跑在设备端的开源 MoE 模型,iPhone 17 Pro Max 上解码速度 13+ token/s。
- Instruct 模式下整体得分超过 Qwen3.6 35B-A3B 且推理时间更短,推进性能-效率 Pareto 前沿。
- 采用 LLaVA-UHD v4 的 ViT 内早期压缩,支持 4x/16x 混合视觉 token 压缩以平衡细节与成本。
- 支持 iOS/Android/HarmonyOS,提供 Rockchip、爱芯元智、Intel、AMD、Arm 芯片 day-0 支持;兼容 SGLang/vLLM/llama.cpp/Ollama,提供 GGUF/BNB/AWQ/GPTQ 及 FP8 量化,并发布低成本微调方法 Self-Replay Fine-Tuning。
所属事件:OpenBMB 发布 MiniCPM-V 4.7：端侧 MoE 多模态跑进 iPhone(5 条相关)→
「Infra」频道最新
- Seesa 推出本地部署企业 AI:数据不出楼,一周内上线 — Scobleizer · 2026-10-13
- AI 算力通缩之辩：推理毛利为正，"低于成本卖 token"站不住脚 — toptickcrypto · 2026-10-13
- Perplexity 揭秘 Projects 底层：用 Git 仓库当智能体的共享文件系统 — perplexity_ai · 2026-10-13
- Claude Code 一条 Terraform 命令清空生产数据库，2.5 年数据全灭 — aakashgupta · 2026-10-13
- 本周 AI 大事：微软英伟达 PC 智能体、Marvell 2031 目标 700 亿美元 — pstAsiatech · 2026-10-13
- 800 张 Blackwell 对 10 万张算力鸿沟,小实验室还有希望吗 — altryne · 2026-10-13