UC伯克利发布FreeToken：消费级硬件跑290B MoE模型

UC 伯克利发布面向边缘端的混合专家模型服务系统 FreeToken，通过带宽自适应的 CPU-GPU 协执行策略、全层双缓冲预填充流等技术，动态将计算与模型状态映射到异构本地硬件，让消费级显卡也能跑通 290B 参数的 MoE 大模型。项目声称其推理速度显著优于 llama.cpp、ktransformers、Ollama 和 moe-infinity 等现有方案，相关论文已发布，二进制文件可供下载。

2026-08-18 ~ 2026-08-19 · 4 条相关

• FreeToken 宣称 MoE 推理速度大幅超越 llamacpp 与 Ollama — wavefnx · 2026-08-18
• 新框架 FreeToken 声称大幅加速 MoE 模型推理 — wavefnx · 2026-08-18
• UC伯淳发布FreeToken：端侧MoE高效推理系统 — UCBerkeley · 2026-08-19
• FreeToken 引擎：让消费级显卡跑通 290B MoE 模型 — wavefnx · 2026-08-19