FreeToken 开源：消费级硬件本地跑超大 MoE 模型

UC Berkeley 与 MIT 研究者开源 FreeToken,一个端侧原生 MoE 推理引擎,把 GPU、CPU、内存视作统一弹性推理平台,宣称可将数据中心规模的模型服务搬到桌面端。实测显示游戏 PC 可本地运行 284B 参数模型,8GB 显存的笔记本可跑 35B 模型,主打 MoE 架构与边缘推理,项目在 GitHub 上热度攀升,Star 数冲上 1.5 万。

2026-11-01 ~ 2026-11-03 · 2 条相关