FreeToken 开源:游戏 PC 本地跑 284B 模型,笔记本 8GB 显卡跑 35B
alex_verem · x · 2026-11-03
Berkeley 和 MIT 研究者开源了 FreeToken,一个端侧原生 MoE 推理引擎,把 GPU、CPU、内存当作统一弹性推理平台,让消费级硬件跑数据中心级模型。论文实测:
- 8GB 显卡的笔记本跑 35B 模型
- 游戏桌面跑 284B 模型
- 单张工作站显卡跑 753B 的 GLM-5.2
技术要点包括带宽自适应 CPU-GPU 协同执行、全局 LRU 专家缓存、语义感知缓存(agent 场景下避免重复计算上下文)、运行时动态重分配显存。支持 DeepSeek、Qwen、GLM、Gemma、gpt-oss 等开源权重模型及多种量化格式,提供 OpenAI/Anthropic 兼容 API,可接入 Claude Code、Codex 等编码 agent。Windows/Linux 桌面应用已可下载,GitHub 已有 15.9k stars,Apache-2.0 协议。
所属事件:FreeToken 开源：消费级硬件本地跑超大 MoE 模型(2 条相关)→
「Infra」频道最新
- Reddit 热传讽刺视频:你的内存凭什么该搬进数据中心 — wwjps · 2026-11-03
- Clover 登陆 llama.cpp:35B MoE 混合块扩散生成,每 token 仅激活 3B — jacek2023 · 2026-11-03
- 本地跑 ComfyUI 时 Chrome 白吃 15% 内存，用户求无浏览器方案 — SwingNinja · 2026-11-03
- 让 Agent 跑更快：一年实践总结的推理速度优化心得 — rseroter · 2026-11-03
- 谷歌财报：营收利润双涨股价却暴跌 10%，市值蒸发 5000 亿美元 — FuSheng_0306 · 2026-11-03
- CI 从 40 分钟提速到 2 分钟，Boardy 分享 20 倍加速实操清单 — garrytan · 2026-11-03