单张 RTX 3090 + 128GB 内存跑通 180B MoE：15.5 tok/s 生成实测配置
cezarducatti · reddit · 2026-09-05
一位开发者在 RTX 3090（24GB）+ 128GB DDR4 上运行 Qwen3.8-Flash-Next（UD-Q4KXL，约 180B 总参/5B 激活的 MoE），公开完整 llama.cpp 启动配置与实测数据并求优化建议：
- 关键参数：-ngl 99 全层尽量上 GPU、-ncmoe 42 强制 42 个专家层留 CPU/RAM、200k 上下文、f16 K/V cache、xhigh 推理模式不截断
- 加载后 VRAM 几乎占满（剩 0.6GB），系统内存仍余约 52GB
- 实测：12k 上下文 prompt 处理稳定在约 185-190 tok/s；生成速度在 12k+ 上下文下保持约 15.5-16 tok/s
- 作者提醒近期 llama.cpp master 多个构建针对 Qwen4Exp 架构改动（MTP 投机解码回滚支持、Vulkan top-k radix sort shader、减少 graph splits），遇到 MTP 不稳先升级再怀疑配置
- 求助：-ncmoe 数值是否最优、如何压榨 prompt 处理速度、MTP 投机解码是否已在主线稳定
「Infra」频道最新
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- kernel 全面跑赢 cuBLAS 不重要,快速迭代调优才是关键 — blelbach · 2026-10-23
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23