开源 FreeToken：游戏 PC 本地跑 290B+ 前沿 MoE 模型，已 13.8k Star
solyarisoftware · x · 2026-09-26
FlashML-org 发布开源项目 FreeToken（GitHub 13.8k Star），定位是把数据中心级模型服务搬到桌面端。
- 目标：在消费级硬件上以较快交互速度运行 290B+ 参数的前沿开源 MoE 模型
- 技术核心：将 GPU、CPU、内存与互连接视为统一的弹性推理平台；采用带宽自适应的 CPU–GPU 协同执行（q 策略）等针对边缘环境的 MoE serving 优化
- 提供 install.sh 一键安装、benchmark、文档与社区（Slack/Discord/WeChat），并附论文链接
「Infra」频道最新
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- Nvidia 供应承诺单季从 1190 亿飙至 2790 亿美元，锁死 2027-28 显存 — tengyanAI · 2026-11-11
- 独立研究者新优化器：24GB 显存可训 27B 模型，权重仅需 1.6bit — oguzeldereli · 2026-11-11
- 英伟达扩大与 Meta 的 Muse 合作,将向 Meta 投资 30 亿美元 — armand_ruiz · 2026-11-11
- 网友算账质疑 Anthropic:Opus 5.5 十亿美元成本大头不在算力 — teortaxesTex · 2026-11-11