8B MoE 在电视盒子上跑到 7.2 tok/s，专家权重从闪存换页

petrusenko_max · x · 2026-11-13

开发者展示了自己的端侧推理成果：一个 8B mixture-of-experts 模型在一台仅有约 1GB 可用内存的电视盒子上跑到 7.2 tok/s，专家权重按需从闪存换页加载；作为对比，同盒子上的稠密 9B 模型只有 0.27 tok/s，慢 26 倍。

结论：对端侧 agent 而言，决定能不能用的不是内存余量，而是每 token 的激活参数量——MoE 架构是低内存设备跑 LLM 的关键。配图为其开源项目 hyperionaidev/smolmaxxing，目标是把 LLM 塞进尽可能小的设备。