面壁开源 LES：35B MoE 端侧跑出 20 token/s，速度达基线 6 倍
面壁智能 · wechat · 2026-10-20
面壁智能详解支撑 MiniCPM-V 4.7 端侧运行的 LES（前瞻专家调度）推理系统，首次让 35B-A3B 规模 MoE 模型在手机上实时无损运行：iPhone 18 Pro Max 解码超 20 token/s，M4 iPad 达 18 token/s，且不减少专家、不改网络结构。
三大难点与对应设计
- 权重装不下（35B 总参、4bit 仍约 17.5GB）→ 专家权重放闪存按需加载；
- 专家加载阻塞计算 → 调度层复用当前层 Router 输入预测下一层候选专家（召回约 80%）提前预取，预测与真实路由分离保证正确性；就绪专家先算、未就绪的后算；
- 单 token 计算密度低 → 适配 DSpark 投机解码批量验证候选 token。
存储与量化
- 重新组织 GGUF 权重布局，让每个专家的 gate/up/down 矩阵连续存储，合并读取请求；
- 专家权重降至 Q3K 的混合精度量化：五项 benchmark 平均分仅降 0.16（78.28→78.12），权重文件减少 26.7%（19.7GB→14.44GB）。
消融结果：基线 3.38 token/s → 加调度 6.57 → 加存取优化 11.34 → 加量化 17.16 → 加 DSpark 20.51 token/s，为基线 6.07 倍。M4 iPad 上推理额外功耗约 9-11.8W，持续运行 180 秒温升约 1.5°C。代码已开源（GitHub: tc-mb/llama.cpp-omni），方案原理上可推广到其他 MoE 模型。
所属事件:面壁开源 LES：iPhone 本地实时跑 35B MoE 模型(2 条相关)→
「Infra」频道最新
- 单张 RTX 5090 跑 DeepSeek V4.1 Flash，解码 63.5 tok/s — jesdga95 · 2026-10-21
- NVIDIA 转向本地 AI 叙事：DGX Spark 可八机集群共享 1TB 内存 — ryanshrout · 2026-10-21
- Agent 沙箱公司 Daytona 宣布 B 轮融资：定位「agent 执行层」，Meta 曾用其跑 Llama 后训练 — mattturck · 2026-10-21
- Anthropic 联创：token 降价千倍需求也只会涨千倍 — gabriel1 · 2026-10-21
- 中国对美出口 1730 台单晶炉,SemiAnalysis 拆解马斯克 20GW 电力计划 — rickasaurus · 2026-10-21
- 黄仁勋柏林 GTC 推即插即用数据中心 DSX Pod,瞄准欧洲 AI 算力短板 — Wired AI · 2026-10-21