FreeToken：在游戏 PC 上本地跑 290B+ 前沿 MoE 模型的开源引擎
Saboo_Shubham_ · x · 2026-08-25
FreeToken 是一个边缘原生 MoE 推理引擎（GitHub 4.8k star、422 fork），目标是在个人消费级硬件上运行前沿规模的开源权重模型——号称可在游戏 PC 上以交互级速度跑 290B+ 参数的 MoE 模型。
核心设计：
- 把 GPU、CPU、内存、互连等异构边缘资源当作统一的弹性推理平台
- 带宽自适应的 CPU–GPU 协同执行（q 策略）
- 全层双缓冲 prefill 流式处理、全局 LRU 专家缓存、FTW 快速权重格式
- 语义感知缓存
兼容 Anthropic/OpenAI API，Claude Code、Codex 等工具可即插即用，100% 开源，附有论文、Slack/Discord 社区。同帖还推荐了 134k+ star 的 Awesome LLM Apps 仓库，内含 100+ AI Agent、Agent Skills 与 RAG 模板。
所属事件:FreeToken 开源引擎：8GB 显存本地跑 290B MoE 模型(2 条相关)→
「编程与Agent」频道最新
- 实测：谷歌 Gemini Flash 修复漏洞数少且贵，不敌 OpenAI 平价模型 — PawelHuryn · 2026-08-25
- 开发者演示强化学习编码模型，用 JavaScript 库 p5.brush 绘画 — round · 2026-08-25
- Weaviate 推出可配置 effort 参数，测试时计算提升检索精度 — CShorten30 · 2026-08-25
- Stock MCP Server：利用腾讯 API 提供实时行情 — modelcontextprotocol · 2026-08-25
- Releases：面向 Agent 的产品更新日志 API — modelcontextprotocol · 2026-08-25
- Okta 正式发布 Agent SSO，统一管理 AI 智能体身份 — yenkel · 2026-08-25