开源 FreeToken：游戏 PC 本地跑 290B+ 前沿 MoE 模型，已 13.8k Star
solyarisoftware · x · 2026-09-26
FlashML-org 发布开源项目 FreeToken（GitHub 13.8k Star），定位是把数据中心级模型服务搬到桌面端。
- 目标：在消费级硬件上以较快交互速度运行 290B+ 参数的前沿开源 MoE 模型
- 技术核心：将 GPU、CPU、内存与互连接视为统一的弹性推理平台；采用带宽自适应的 CPU–GPU 协同执行（q 策略）等针对边缘环境的 MoE serving 优化
- 提供 install.sh 一键安装、benchmark、文档与社区（Slack/Discord/WeChat），并附论文链接
「Infra」频道最新
- 英伟达市值 5.4 万亿美元，超过英法德任一国股市总市值 — iamfakhrealam · 2026-09-26
- SemiAnalysis 拆解 DeepSeek V4.1 Flash：Engram 查表换 1.6 倍性价比 — teortaxesTex · 2026-09-26
- 三个月精选论文清单:LLM 分布式训练与推理入门路径 — East-Muffin-6472 · 2026-09-26
- vLLM 弹性专家并行：MoE 部署可在流量中动态增减 GPU — PyTorch · 2026-09-26
- AI数据中心投资转向:真基建胜过PPT故事 — TansuYegen · 2026-09-26
- 双 3060 跑 Qwen 27B Q4 量化，实测生成速度约 44-50 tok/s — jacek2023 · 2026-09-26