BigMoeOnEdge：12GB 手机跑 35B MoE 达 10 tok/s，模型可比内存大 7 倍
dai_app · reddit · 2026-10-20
作者发布 BigMoeOnEdge（自述为 llama.cpp 之上的流式 MoE 层）：通过针对具体硬件/OS/CPU/GPU/NPU 的「自适应流式 Planner」做资源分配与专家缓存，让远超内存的 MoE GGUF 模型在消费级设备上运行，并内置 OpenAI 兼容本地服务器。
关键数据（均为作者/贡献者设备实测）
Planner 开启前后（16GB Mac，Qwen3.6-35B-A3B Q4KM）：
- 解码：7 tok/s → 25-30 tok/s
- 2000 token 提示词：CPU 21 秒 → GPU 3.4 秒
各设备实测：
- Qwen3.6-35B-A3B（21GB）：12GB 安卓手机（1.9×内存）10 tok/s 解码、100-300+ tok/s NPU prefill；16GB Mac 30+ tok/s、400 tok/s prefill（Metal GPU）；16GB Windows 笔记本 5 tok/s
- Qwen3-Coder-30B-A3B：16GB Mac 23 tok/s，opencode 内 10 tok/s
- Qwen3.8-Flash-Next 125B（76GB，4.8×内存）：16GB Mac 6.5-9 tok/s；12GB 手机 2.2-3.5 tok/s
- DeepSeek V4 Flash 284B（91GB，7.6×内存）：12GB 手机 1 tok/s
作者已在 Android 与 Mac 上搭配 OpenCode 使用，考虑向 llama.cpp 提 PR 但不确定是否符合项目方向。
「Infra」频道最新
- 单卡 RTX 3060 12GB 跑通 MiniMax H3 视频生成，928p 仅 23 分钟 — Ok-Inevitable8391 · 2026-10-20
- 字节阿里腾讯向 Nvidia 下单超 350 亿美元，供不应求难保交付 — pstAsiatech · 2026-10-20
- DeepSeek-V4.1-Flash 登顶 Agent Arena 开源第一，总榜第 11 — vista8 · 2026-10-20
- vLLM 热度不减：94,235 星的 LLM 高吞吐推理引擎再增 98 星 — vllm-project · 2026-10-20
- 从零预训练 GPT-2 124M：24.8 亿 tokens、4 张 A40 完整复盘 — upulbandara · 2026-10-20
- 新推理引擎 Whale 号称碾压 vLLM 与 SGLang — EAccelerate_42 · 2026-10-20