面壁开源 MiniCPM-V4.7:35B 模型 3GB 内存跑上手机,每秒 30 token

机器之心 · wechat · 2026-11-09

面壁智能联合 OpenBMB 开源 MiniCPM-V4.7,其中 35B-A3B MoE 多模态模型约 3GB 内存即可在手机端侧运行,iPhone 18 Pro Max 上速度超每秒 30 token,官方称智能水平超过 2023 年的云端旗舰 GPT-4V。

关键技术是 Infra 层的前瞻专家调度(LES):把 MoE 专家权重存放在闪存中,利用 Transformer 残差结构带来的相邻层专家选择稳定性,提前预测并后台加载下一层所需专家,实现计算与数据搬运并行,精度几乎无损。配合混合精度量化与投机解码,内存峰值控制在 3GB 左右。模型侧则通过视觉压缩(最高 96 倍压缩率)、RLPR 等低成本奖励后训练、抗遗忘训练持续提升「能力密度」。

1B 版本主打千元机普惠,在 OCR、图表推理上优于同级竞品。面壁联席首席科学家姚远提出端侧智能的「三驾马车」——模型、硬件与 Infra 协同进化,智能密度约每 3.5 个月翻一番,三驾马车收益乘法叠加可获 5-8 倍增益。他判断「2 年内 GPT-6 级别智能跑上手机」没有问题,未来 90% 有上限的日常智能需求将从云端转移到端侧。本次发布同步开源权重、推理代码、App 安装包与微调方案,并适配 AMD、Apple、高通等平台及多款国产芯片。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →