新框架 FreeToken 声称大幅加速 MoE 模型推理
wavefnx · x · 2026-08-18
FreeToken 是一个新的推理框架，声称在 MoE 模型服务速度上远超 llama.cpp、ktransformers 和 Ollama。相关论文已于昨日发布，目前二进制文件可用但代码已下架。作者提到该框架使用了双重缓冲（double buffers）技术来存储和恢复检查点，但需进一步逆向或等待代码重发验证其实际性能。
所属事件:UC伯克利发布FreeToken：消费级硬件跑290B MoE模型(4 条相关)→
「Infra」频道最新
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16