12GB 显存跑 Qwen3.8 Flash:3bpw 量化达成 15 tokens/s
KnownAd4832 · reddit · 2026-09-17
Reddit 用户在 12GB 显存(RTX 5070 SFF)+64GB DDR5 的机器上,以 3bpw 量化(IQ3XXS,称其在 AIME25 上匹敌 BF16)本地运行 Qwen3.8-Flash-Next-GSQ-RCO-GGUF,获得稳定 15 tokens/s 生成与约 100-120 tokens/s 的 prompt 处理速度。完整 GGUF 约 76GB,仅需 47GB 分片进显存+内存,其余由 SSD 承担。
实测数据:服务启动 4.9s;冷启动到 1K prompt 31.7s;1K 生成 13.8 tok/s;8K 生成 14.6 tok/s;20K prompt 处理 104.7 tok/s(输出前等待 3.11 分钟);20K 生成 14.0 tok/s;90-100K 生成 11.3 tok/s;最高验证到 128K 上下文。作者称输出质量在测试中达到 Unsloth Q6-Q8 水平,使用 FreeToken CLI + llama,并将测试 2.40bpw(对标 NVFP4/Q4)版本。
「Infra」频道最新
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02
- Intel 单日暴跌 29% 创 1970 年代以来最差，美国政府持股蒸发 120 亿美元 — emmanuelvivier · 2026-11-02