FreeToken 论文详解：端原生 MoE 推理系统设计

mark_k · x · 2026-08-23

FreeToken 是一个端原生 MoE 推理系统，旨在将个人设备转变为统一的弹性推理平台。该系统针对本地 AI 的两个现实进行了全栈协同设计：Agent 工作负载的执行模式持续变化，以及边缘硬件资源异构且不平衡。

FreeToken 没有采用固定的卸载策略，而是持续将计算和模型状态映射到实际可用的资源上。它支持 20 多种 MoE 模型，并能在从 8GB 笔记本 GPU 到单工作站 GPU 的不同硬件上运行真实的编码和工具使用 Agent。关键成果包括在笔记本上运行 35B 模型，在游戏桌面机上运行 284B 模型，以及在单工作站 GPU 上运行 753B GLM-5.2。