开源引擎 FreeToken 让消费级显卡跑数千亿参数模型

伯克利、MIT 等机构推出开源推理引擎 FreeToken,使消费级 PC 也能运行数千亿参数的 MoE 大模型。实测 RTX 5090 运行 DeepSeek 284B 可达 22–25 tok/s,本地可跑 290B 以上模型。其 GitHub 仓库以 Apache-2.0 协议开源,已获 17.2k star、1.7k fork,社区反响热烈。

2026-11-15 ~ 2026-11-15 · 2 条相关