FreeToken：在游戏 PC 上本地跑 290B+ 前沿 MoE 模型的开源引擎
Saboo_Shubham_ · x · 2026-08-25
FreeToken 是一个边缘原生 MoE 推理引擎（GitHub 4.8k star、422 fork），目标是在个人消费级硬件上运行前沿规模的开源权重模型——号称可在游戏 PC 上以交互级速度跑 290B+ 参数的 MoE 模型。
核心设计：
- 把 GPU、CPU、内存、互连等异构边缘资源当作统一的弹性推理平台
- 带宽自适应的 CPU–GPU 协同执行（q 策略）
- 全层双缓冲 prefill 流式处理、全局 LRU 专家缓存、FTW 快速权重格式
- 语义感知缓存
兼容 Anthropic/OpenAI API，Claude Code、Codex 等工具可即插即用，100% 开源，附有论文、Slack/Discord 社区。同帖还推荐了 134k+ star 的 Awesome LLM Apps 仓库，内含 100+ AI Agent、Agent Skills 与 RAG 模板。
所属事件:伯克利等校开源 FreeToken，消费级硬件跑 MoE 大模型(5 条相关)→
「编程与Agent」频道最新
- Marc Lou 公开安利 PostShiba：独立开发者的邮件基础设施新选择 — marclou · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- 开发者把 Pstack skills 装进 Grok bot 与 Hermes agents — alexcovo_eth · 2026-10-16
- past.dev 推出 Agent 长期记忆 API,登顶 BEAM 公开记忆基准 — thisiskp_ · 2026-10-16
- Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力 — google · 2026-10-16
- mitsuhiko：让 AI 直接写多人联机，意外学会 PeerJS — mitsuhiko · 2026-10-16