双 3090 跑 Qwen3.8-Flash-Next：专家下放内存，51B n-gram 表落 NVMe

jbro1985 · reddit · 2026-08-29

Reddit 用户分享在 2×RTX 3090 + 96GB DDR5 上部署 Qwen3.8-Flash-Next（125B MoE + 51B n-gram 表）的完整实测：专家权重下放内存、n-gram 表经 mmap 放 NVMe。

Llama.cpp

• UD-Q4KXL 下 32 t/s 解码、463 t/s 预填（640K serving pool，4×160K 通道，q8 KV）
• 51B 表测得零跨 token 复用，常驻近乎归零，解码成本几乎为零——SSD 随机读是正确架构而非妥协
• --moe-cache 5000（PR #24528 分支）带来 +30% 解码提升，但并发会抵消收益；浅层并发、深层串行
• 暖会话前缀缓存每轮仅重处理约 24 token（含 DeltaNet 状态）
• 发现并修复 gridDim.y 溢出崩溃（与上游 PR #27941 同型，2 行修复）
• systemd cgroup 限内存 6G 后，90GB 下载期间仍稳住 32 t/s

vLLM

• 将未合并的 mmap-PLE PR (#54129) 移植到 qwen38-flash-next 镜像：W4A16、TP=2，表从 NVMe 读取；官方配方要求 ≥110GB 空闲内存，此方案 53GB 即可
• 真实表解码 15.3 t/s vs 桩表 16.0 t/s，NVMe n-gram 开销约 4%
• 必须用选择性 UVA offload：朴素 --cpu-offload-gb 每步全量重拷（2.5 t/s），改 routedexperts 参数路由后达 16 t/s
• PCIe 带宽是瓶颈时 MTP 投机解码反而变慢（13.9 vs 16.0）

所属事件:发烧友实测本地跑 Qwen Flash Next：内存换质量但速度堪忧(2 条相关)→

原文链接 →

「Infra」频道最新

• 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
• 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
• 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
• SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
• ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
• Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15

更多「Infra」频道 AI 资讯 →