FreeToken 实测数据：单张 RTX PRO 6000 跑 753B 模型
jasonkneen · x · 2026-08-23
开发者 jasonkneen 回应并附上了自己为 FreeToken 提交的 Apple Silicon/Metal/MLX 支持 PR。被引用的推文给出了 FreeToken 的实测成绩：
- 单张 RTX PRO 6000 以 14.9 tok/s 跑 753B 的 GLM-5.2
- 约 1000 美元、8GB 显存的 RTX 4060 笔记本以 39.3 tok/s 跑 Qwen3.6-35B
- 消费级 GPU 上比 Ollama 快 2–4 倍
FreeToken 由 UC Berkeley Sky Lab 开源，此前不支持 macOS，该 PR 补上了这一空缺。
所属事件:伯克利/MIT 开源 FreeToken：消费级 GPU 本地跑数百 B MoE 模型(11 条相关)→
「Infra」频道最新
- 私人算力权崛起：去中心化地下室数据中心或成趋势 — beffjezos · 2026-08-23
- GB300 显存带宽达 7.4TB/s，HBM 现货紧缺 — JosephJacks_ · 2026-08-23
- 「阻止数据中心不会害死人，但拦下算力会」的因果链之争 — flowersslop · 2026-08-23
- FreeToken 提交 PR：新增 Apple Silicon Metal 与 MLX 支持 — jasonkneen · 2026-08-23
- GitHub 汇总 300+ 篇大厂工程博客，揭秘系统扩展实战 — tom_doerr · 2026-08-23
- 手动调优 DP 复制度解决训练瓶颈 — code_star · 2026-08-23