伯克利 MIT 推 FreeToken：消费级 GPU 跑 284B 模型
solyarisoftware · x · 2026-08-22
UC Berkeley 和 MIT 研究人员发布了开源推理引擎 FreeToken，旨在让游戏 PC 和笔记本电脑运行前沿级大模型。其特点是将 CPU/GPU/内存视为统一弹性系统，利用带宽自适应的 CPU-GPU 协执行等技术。基准测试显示，在 RTX 4060 上运行 Qwen3.6-35B 可达 39 tok/s，比 llama.cpp 快 1.46 倍。
所属事件:伯克利MIT开源FreeToken，消费级GPU本地跑百亿级MoE大模型(8 条相关)→
「Infra」频道最新
- OpenAI Token 调用爆发：年 10B 变周 10B — xeophon · 2026-08-22
- GitHub 13.2 万星项目：开发者免费资源大全 — Roger_M_Taylor · 2026-08-22
- AMD 显卡升级 ROCm 10 修复显存溢出 Bug — Present-Guitar-3967 · 2026-08-22
- 英伟达新平台启用钻石散热，国产供应链迎爆发 — 创业邦 · 2026-08-22
- 美 AI 产业经济模式承压：订阅收入难覆算力成本，数据中心建设屡屡受阻 — Minimum_Name9115 · 2026-08-22
- Starcloud在卫星上跑大模型：先在轨训练小模型，H100已上太空 — emmanuelvivier · 2026-08-22