面壁开源 LES:iPhone 本地实时跑 35B MoE 模型
面壁智能开源 LES(前瞻专家调度)推理系统,支撑 MiniCPM-V 4.7 在 iPhone 18 Pro 上本地完整运行 35B-A3B MoE 模型,速度达 20.5 token/s,为基线的 6 倍。该系统不修改路由、不跳过任何专家,通过优化专家权重从闪存到计算单元的加载正面解决真正瓶颈,首次实现该规模 MoE 模型在手机上的实时无损运行。
2026-10-20 ~ 2026-10-21 · 2 条相关
- 面壁开源 LES:35B MoE 端侧跑出 20 token/s,速度达基线 6 倍 — 面壁智能 · 2026-10-20
- iPhone 跑 35B MoE 达 20.5 tok/s:LES 调度不跳过任何专家 — GasSmooth7439 · 2026-10-21