内存 32G 升 64G:单张 4090 跑 Qwen 4-bit 量化,解码 90+ t/s
Distinct-Pie2389 · reddit · 2026-10-18
作者把系统内存从 32GB 升到 64GB,让单张 RTX 4090(24GB)跑 Qwen3.8-Flash-Next 的 Unsloth UD-IQ4XS(4-bit)量化,而不再是 IQ2XS(2-bit)。
- 硬件:4090 + i9-14900K + 64GB DDR5-5800,模型放 SATA SSD,尽量让所有专家权重留在 RAM/VRAM
- 选型逻辑:跳过需要约 88GB 的 UD-Q4KXL(会在 SATA 上流式读取约 19GB 专家),选约 55GiB 的 UD-IQ4XS,40GiB RAM 预算 + 显卡装剩余部分,日志显示 40GiB 专家在内存、0 次磁盘读取
- 实测:解码 87-98 t/s(2-bit 时为 140-160 t/s);36K/136K token 大海捞针均通过,prefill 2000-2850 t/s,专家缓存命中率约 91%,262K 原生上下文,工具调用一次成功
- 质量参考:Strata 量化表显示 UD-IQ4XS 与 Q80 顶层 token 一致率 88.9%,IQ3XXS 为 84.5%,Q20 为 80.6%
调优中发现两点:Strata 0.1.45 在请求未指定采样参数时会用模型卡默认(temp 1.0 / topp 0.95 / topk 20),旧版贪心解码是之前循环输出的原因;默认 STRATAROUTETAILSKIP=7 在 RAM 预算模式下会显著增大对 Q80 的 KL 散度,建议设为 0。作者接下来会跑校准器并与 NInfer 对比。
「Infra」频道最新
- Mac Mini M5 64GB 跑 Qwen Flash Next：SSD 流式推理实测附数据 — turtleninja99 · 2026-10-18
- 单张 4090 跑满 552B DeepSeek-V4.1-Flash：27 tok/s、512K 上下文 — indrasmirror · 2026-10-18
- Strata 0.1.45 前默认贪心解码致循环，附 4-bit 质量与速度实测取舍 — Distinct-Pie2389 · 2026-10-18
- 6GB 显存跑 agent 集群：毫秒级微模型当工蚁，大模型只管决策 — everettplays · 2026-10-18
- Rust 版 Git 服务器基于 S3 跑出每秒 7600+ 并发推送 — blaizedsouza · 2026-10-18
- 五台设备拼出大 MoE 模型：37 tok/s 跑 60k 上下文 — StayLameBro · 2026-10-18