MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存
techNmak · x · 2026-10-16
作者用 OpenBMB 的 MiniCPM-V 4.7 35B-A3B 做了一个 Neo-Brutalist 风格的作品集 UI 实验,重点在于该模型把多模态 AI 推向日常硬件的实用化部署。
- 总参数 35B,每次仅激活 3B,iPad Pro M4 (16GB) 上跑出 17+ tokens/s,iPhone 17 Pro Max 上 13+ tokens/s,优化移动配置下内存占用约 3GB
- 另有 1B 小模型,适合 OCR、图表、数学和通用理解任务
- 两个版本均支持 256K 上下文窗口,权重、推理与微调代码全部开源
「Infra」频道最新
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- Adobe 联手 NVIDIA 优化创意应用：RTX Spark 本地提速至 2 倍 — shashib · 2026-10-16
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- a16z 周报：电商封杀 agent 购物，403 拦截率翻倍 — a16z Newsletter · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16