iPhone 跑 35B MoE 达 20.5 tok/s：LES 调度不跳过任何专家
GasSmooth7439 · reddit · 2026-10-21
OpenBMB 发布工程长文，展示 MiniCPM-V 4.7 如何在手机本地完整运行 35B-A3B MoE 模型——不改路由、不跳过专家，正面解决真正的瓶颈：专家权重从闪存到计算单元的搬运速度。
核心技术是 Lookahead Expert Scheduling（LES）：预测下一层可能用到的专家，在当前计算进行时预加载其权重，先执行已就绪的专家。配合优化的权重排布、混合精度量化和 DSpark 投机解码，实测成绩：
- iPhone 18 Pro Max 上 20.51 tok/s，是 3.38 tok/s 基线的 6.07 倍
- 专家权重体积缩小 26.7%，五个基准平均仅掉 0.16 分
- 低内存配置下峰值内存约 3 GB
实现（含专家调度与 DSpark 集成）已在 llama.cpp-omni 开源。关键点在于 LES 是在不改变模型实际执行的专家的前提下隐藏内存瓶颈，方法有望推广到其他 MoE 模型。
所属事件:面壁开源 LES：iPhone 本地实时跑 35B MoE 模型(2 条相关)→
「Infra」频道最新
- 美光 webinar：押注 bit 增长而非历史周期 — BenBajarin · 2026-10-21
- 摩根大通将 SpaceX 目标价翻倍至 500 美元，月增 20 万块 GPU — mitchdeg · 2026-10-21
- TorchTPU 打通 Hugging Face 生态：Transformers 原生跑 TPU — rseroter · 2026-10-21
- CoreWeave 推 Physical AI Launchables：一条命令跑机器人仿真环境 — ayushthakur0 · 2026-10-21
- NVIDIA 再度狂扫 ABF 载板产能，分析师称其为 AI 周期经济赢家 — BenBajarin · 2026-10-21
- php2shell 波及近七成网站,Cloudflare 提前 9 小时部署 WAF 防护 — Cloudflare Blog · 2026-10-21