CPU 上 7B MoE 25 tok/s 的零成本方案
Annual_Manner_5901 · reddit · 2026-07-18
作者展示了自己基于 **llama.cpp** 打造的 CPU-first 推理服务器 **Reame**，并给出一个可直接在浏览器里访问的 live demo。 ### 核心性能 - 在 **Oracle Always-Free ARM 4 vCPU** 机器上，运行 **OLMoE 7B（1B active MoE，Q4）**，速度约 **25 tok/s**。 - 同样机器上，密集型 9B 模型只有约 **4.6 tok/s**。 - 他认为 MoE 的优势在于：7B 级输出，但每个 token 实际只触达约 1B 活跃参数，因此在 CPU 上更划算。 ### 零成本部署栈 - 计算：Oracle Always-Free ARM box - 公网 HTTPS：免费 Tailscale Funnel - 前端：GitHub Pages 静态站 - 整体 hosting 成本：**€0** ### 系统设计 作者强调这个项目的原则是：**在 CPU 上不要重复计算同一件事**。 - 会把 prompt prefix 和历史生成结果快照到磁盘，跨请求、跨重启复用。 - 还做了一个 Redis-compatible daemon（ARCA），在多机之间共享精确响应缓存和 generation corpus。 - 目标场景不是 ChatGPT 替代品，而是**抽取、分类、批处理**这类窄任务。 帖子最后还说明：这是单机单请求的免费 demo，OLMoE 目前也偏英语场景。