BigMoeOnEdge 开源:让 MoE 大模型跑进手机和 16GB 笔记本,权重自动分配到 VRAM/RAM/闪存

dai_app · reddit · 2026-11-08

作者开源 BigMoeOnEdge(基于 llama.cpp),可运行超出设备内存容量的 MoE 模型,自动把每个权重放到 VRAM、RAM 或闪存以最大化 prefill 和 decode 速度。

原理:MoE 每个 token 只激活少量专家,不必全模型驻留内存——高频读取的权重放最快存储,低频专家按需从闪存读
自动规划(--auto):实测设备的空闲 RAM/VRAM、磁盘速度、每个设备跑真实层的耗时,再结合模型大小与路由,决定权重放置、prefill/decode 各在哪台设备、缓存大小与线程数
兼容性:任意 llama.cpp 可加载的 MoE GGUF,任意量化,专家张量信息直接从文件读取,新架构无需新代码;支持 Android/iOS/macOS/Windows/Linux,CPU/CUDA/ROCm/Vulkan/Metal/OpenCL/Hexagon NPU 后端
实测数据:12GB Android 手机跑 284B DeepSeek V4 Flash 达 1 tok/s;16GB Apple Silicon 笔记本跑 Qwen3.6-35B-A3B 达 18-24 tok/s;24GB+96GB 桌面跑 125B 达 70 tok/s
相比 llama.cpp 原版,RTX PRO 6000 96GB 上 DeepSeek V4.1 Flash 从 2.8 提升到 6.2-6.6 tok/s

开源项目,手机到数据中心 GPU 全覆盖,对端侧大模型推理是实质性进展。

「Infra」频道最新