CPU 上 7B MoE 25 tok/s 的零成本方案
Annual_Manner_5901 · reddit · 2026-07-18
作者展示了自己基于 llama.cpp 打造的 CPU-first 推理服务器 Reame，并给出一个可直接在浏览器里访问的 live demo。
核心性能
- 在 Oracle Always-Free ARM 4 vCPU 机器上，运行 OLMoE 7B（1B active MoE，Q4），速度约 25 tok/s。
- 同样机器上，密集型 9B 模型只有约 4.6 tok/s。
- 他认为 MoE 的优势在于：7B 级输出，但每个 token 实际只触达约 1B 活跃参数，因此在 CPU 上更划算。
零成本部署栈
- 计算：Oracle Always-Free ARM box
- 公网 HTTPS：免费 Tailscale Funnel
- 前端：GitHub Pages 静态站
- 整体 hosting 成本：€0
系统设计
作者强调这个项目的原则是：在 CPU 上不要重复计算同一件事。
- 会把 prompt prefix 和历史生成结果快照到磁盘，跨请求、跨重启复用。
- 还做了一个 Redis-compatible daemon（ARCA），在多机之间共享精确响应缓存和 generation corpus。
- 目标场景不是 ChatGPT 替代品，而是抽取、分类、批处理这类窄任务。
帖子最后还说明：这是单机单请求的免费 demo，OLMoE 目前也偏英语场景。
「创投」频道最新
- 开源 AI 销售 OS DeskcommCRM 爆火:自带 Agent 与 WhatsApp 集成 — melgarafael · 2026-09-11
- 用 prompt 造硬件:一次对话让智能体组装定制设备寄到家 — paraschopra · 2026-09-11
- Marc Lou 免费发布复盘小书:36 个创业项目赚 300 万美元 — marclou · 2026-09-11
- 卡车经纪公司被收购，估值核心竟是 AI 平台与运力网络 — MatthewChang · 2026-09-11
- 投资人放话:Palantir×英伟达联手将重创 Anthropic IPO 估值 — pdamodaran · 2026-09-11
- Kimi K3 发布后 Moonshot 年化营收从 3 亿美元两月冲至 10 亿 — Hesamation · 2026-09-11