FreeToken 引擎：让消费级显卡跑通 290B MoE 模型
wavefnx · x · 2026-08-19
FreeToken 是一个边缘原生混合专家模型服务引擎，旨在个人和消费级硬件上运行前沿规模的开放权重模型。它利用带宽自适应的 CPU-GPU 协执行策略、全层双缓冲预填充流、全局 LRU 专家缓存和 FTW 快速权重格式，实现了在游戏 PC 上以交互式速度运行 290B+ 参数的 MoE 模型。
所属事件:UC伯克利发布FreeToken：消费级硬件跑290B MoE模型(4 条相关)→
「Infra」频道最新
- FT 称 AI 算力债券面临「达尔文时刻」，CoreWeave 债价暴跌 — firstadopter · 2026-10-16
- 手机当界面、家里服务器跑模型:一套本地 AI 双工作流 — EAccelerate_42 · 2026-10-16
- 「数据中心就是银行」:CoreWeave 风波引出算力监管类比 — arthurcolle · 2026-10-16
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16