单张 RTX 5090 跑 Qwen3.8 Flash Next:靠 expert caching 达 50 t/s
dir3ctly · reddit · 2026-09-20
一位 Reddit 用户分享用 FreeToken 在单张 RTX 5090 上本地运行 Qwen3.8 Flash Next 的实测：文本生成约 50 t/s（40-60 浮动），prefill 约 2300 t/s，长上下文下依然稳定。
- 起因：llama.cpp 至今未合入 MoE 的 Expert Caching（多个 PR 讨论中），默认性能令人失望。
- 方案：改用开源项目 FreeToken，其 expert caching 让单卡性能达到可用水平。
- 帖子给出了完整启动参数：--moe-strategy auto --moe-cache-auto --expert-load parallel、229376 的 --max-seq-len-override 等，模型用 nvidia/Qwen3.8-Flash-Next-NVFP4（需转成 FreeToken 格式否则启动慢）。
- 硬件：RTX 5090 + 128GB DDR5 6000（96GB 也够）。
- 该方法适用于其他 MoE 模型，项目仍早期：刚支持 vision，尚无 KV 量化与 MTP。
「Infra」频道最新
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12
- llama-modchip：64GB 内存纯 CPU 跑 284B 模型，零 GPU — pmttyji · 2026-11-12
- Agent Substrate 计算器：预测不同负载下 agent 会话恢复速度 — pjausovec · 2026-11-12