FreeToken 实测：4090级显卡跑35B模型达100 tok/s
ViRROOO · reddit · 2026-08-22
新项目 FreeToken（论文 arXiv:2608.16157，GitHub: FlashML-org/FreeToken）发布，作者在本地做了初步测试。
测试环境：RTX 5080（16GB 显存）+ 64GB DDR6 内存 + AMD Ryzen 9 9950X3D，在 QWEN3.6-35B-A3B NVFP4 量化模型上达到 100 tokens/s 的生成速度。
作者认为该项目表现不错，并向社区征集更多实测反馈。
所属事件:伯克利MIT开源FreeToken：消费级PC本地跑前沿MoE大模型(11 条相关)→
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16