FreeToken 引擎：8G 显存本机流畅跑 35B 模型
rohanpaul_ai · x · 2026-08-29
伯克利与德州大学推出 FreeToken 推理引擎，旨在让普通设备流畅运行大模型。它解决了现有引擎在加载专家模型时 GPU 缓存固定的瓶颈，通过让 GPU 缓存跟随路由请求动态调整，将未命中专家率从 llama.cpp 的 62% 降至 16%。
- 性能表现：配备 8GB 显存的游戏本可以 39.3 tokens/秒的速度运行 35B 模型，速度超过生产环境中的 Codex。
- 核心技术：不再在加载时固定专家位置，而是根据实际路由请求动态缓存；其余部分根据 PCIe 和内存速度自动分配在 GPU 和系统 RAM 间运行，避免硬件空等。
所属事件:伯克利等推出 FreeToken，8G 显存本机流畅跑 35B 模型(2 条相关)→
「Infra」频道最新
- dottxt 登顶 AutoExacto 榜单,TAU-Bench Airline 达 84.5% — remilouf · 2026-10-15
- 云端数据可迁移的前提:你得付得起迁移成本 — DavidLinthicum · 2026-10-15
- 黄仁勋谈主权 AI：芯片只是工具，数据与知识才命脉 — rohanpaul_ai · 2026-10-15
- 昇腾 CANN 将直播 950 超节点预训练 DeepSeek V4 参考实践 — teortaxesTex · 2026-10-15
- Cloudflare 数据：Yandex 数据中心遇袭后，恶意机器人只是换了网络 — banteg · 2026-10-15
- OpenAI 英国基建团队扩招:端到端负责可靠性难题 — whoiskatrin · 2026-10-15