FreeToken：带宽自适应 MoE 推理框架
SteppenAxolotl · reddit · 2026-08-25
FreeToken 是一种面向边缘端的 MoE 高效推理框架，通过带宽自适应 CPU-GPU 执行和跨 Agent 轮次的语义感知缓存提升性能。
性能数据：
- Qwen3.6 35B：8GB RTX 4060 笔记本 @ 39 tok/s
- DeepSeek-V4-Flash 284B：RTX 5090 桌面 @ 22-25 tok/s
- GLM-5.2 753B：RTX PRO 6000 工作站 @ 15 tok/s
对比 Ollama，解码速度提升 3-4 倍，预填充速度提升 6-30 倍，允许在消费级硬件上运行官方 Checkpoint 的前沿模型。
所属事件:伯克利等校开源 FreeToken，消费级硬件跑 MoE 大模型(5 条相关)→
「Infra」频道最新
- 黄仁勋谈主权 AI：芯片只是工具，数据与知识才命脉 — rohanpaul_ai · 2026-10-15
- 昇腾 CANN 将直播 950 超节点预训练 DeepSeek V4 参考实践 — teortaxesTex · 2026-10-15
- Cloudflare 数据：Yandex 数据中心遇袭后，恶意机器人只是换了网络 — banteg · 2026-10-15
- OpenAI 英国基建团队扩招:端到端负责可靠性难题 — whoiskatrin · 2026-10-15
- Rust 开源 XERJ 一键索引全栈数据,Agent 检索比 grep 省 40 倍 token — xerj-org · 2026-10-15
- TokenSpeed 冲上 GitHub 热榜:主打 Blackwell/Rubin 的极速 LLM 推理引擎 — lightseekorg · 2026-10-15