FreeToken 让 16GB 显卡跑 Qwen MoE 达 90+ tps,llama.cpp 社区呼吁跟进
solyarisoftware · x · 2026-09-06
- 社区在 llama.cpp 官方仓库发讨论,要求借鉴 FreeToken 的本地 MoE 推理方案:Qwen3.6-35B-A3B-NVFP4(约 23GB)在 16GB 显存的 RTX 5070 Ti 上跑到 90+ tps,后续调用超 100 tps;另一位用户在 RTX 5090 上跑 Qwen3.8-Flash-Next Q4,llama.cpp 仅 22 tps,FreeToken 达 53 tps,翻倍以上。
- FreeToken 的思路是把整台 PC 当作推理系统:专家权重放系统内存,热专家缓存进显存,cache miss 走 PCIe 流式加载,CPU 也可执行部分 miss,且 CPU 计算与 PCIe 传输可重叠——核心是动态决定「哪些专家此刻必须在显存里」。
「Infra」频道最新
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- kernel 全面跑赢 cuBLAS 不重要,快速迭代调优才是关键 — blelbach · 2026-10-23
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23