12GB 显存跑通 Qwen3.8-Flash-Next 125B MoE,MTP 加持逼近 21 tok/s
carteakey · reddit · 2026-09-15
作者在 RTX 4070 12GB + 64GB DDR5-5600 + Gen4 NVMe 的 Linux 机器上跑 Qwen3.8-Flash-Next(125B-A6B MoE + 51B n-gram 表),从最初 6 tok/s 优化到接近 20 tok/s,认为这是该配置下能做到的最强智能。作者称其多数任务上超过 27B 稠密模型,适合低显存高内存配置。
关键做法:
- 用 AtomicChat 的 4.27 bpw GGUF 量化
- n-gram SSD offloading(lazy-mode)
- --fit on --fit-target 512 自动选参
- 主分支 19.35 t/s;应用 MTP PR #28243 + Compact MTP 共享头(1.78GB, Q4KM)加 -ncmoe 45,接受率 77-96%,各任务均突破 20 t/s(峰值 20.65)
- 注意低显存下 MTP 收益有限,需牺牲几层存放 MTP 头
- 处理速度(PP)仅 300-350 tok/s
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02