伯克利等校开源 FreeToken，消费级硬件跑 MoE 大模型
UC Berkeley 联合 MIT、UT Austin 发布并开源了 FreeToken，一个专为消费级硬件设计的 MoE 模型全栈服务系统，目标是让用户在个人设备上运行数据中心级的大模型。项目上线后在 GitHub 已获得约 4.8k star、422 fork 的关注度。
已确认
- FreeToken 的核心技术是带宽自适应执行：根据实时总线条件动态在 CPU 和 GPU 之间拆分计算；同时结合轻量级语义感知缓存，跨 Agent 轮次复用计算结果。
- 官方演示性能数据：Qwen3.6-35B 在 8GB 显存的 RTX 4060 笔记本 GPU 上可运行，初步基准显示速度比 Ollama 快 2-4 倍。
- 引擎兼容 OpenAI 和 Anthropic 的 API 接口，方便现有应用迁移。
- 项目以开源形式发布，作者团队称其可在游戏 PC 上以交互级速度运行 290B+ 参数规模的 MoE 模型。
尚未确认
- 「8GB 显存跑 290B 模型」的说法来自项目宣传口径（@SabooShubham 转述），目前公开的基准数据仅覆盖 Qwen3.6-35B 一例，更大规模模型的实际表现尚待独立验证。
为什么重要
- MoE 架构让大模型的活跃参数远小于总参数量，但显存墙仍是本地部署的主要瓶颈；FreeToken 用 CPU-GPU 协同与缓存复用绕开纯 GPU 显存限制，为消费级硬件运行前沿开源权重模型提供了一条新路径。
2026-08-25 ~ 2026-08-26 · 5 条相关
一手来源
- FreeToken：带宽自适应 MoE 推理框架 — SteppenAxolotl ·
- FreeToken 引擎发布：8GB 显存即可跑 290B 边缘 MoE 模型 — Saboo_Shubham_ ·
- FreeToken：RTX 4060 笔记本跑通 MoE，性能提升显著 — jiqizhixin ·
- 【源头】FreeToken 引擎发布：8GB 显存即可跑 290B 边缘 MoE 模型 — Saboo_Shubham_ · 2026-08-25
- FreeToken：在游戏 PC 上本地跑 290B+ 前沿 MoE 模型的开源引擎 — Saboo_Shubham_ · 2026-08-25
- 【源头】FreeToken：带宽自适应 MoE 推理框架 — SteppenAxolotl · 2026-08-25
- 伯克利开源 FreeToken：MoE 模型本地推理提速 2-4 倍，8GB 显卡跑 35B 模型 — Roger_M_Taylor · 2026-08-25
- 【源头】FreeToken：RTX 4060 笔记本跑通 MoE，性能提升显著 — jiqizhixin · 2026-08-26