单卡 24GB 跑 Gemma 4 31B QAT：4090 上 46 tok/s，加草稿模型达 80
Subject_Poet_3861 · reddit · 2026-10-16
作者发布自研推理引擎 Glyd 0.31，可在单张 24GB 卡上运行 Google 的 Gemma 4 31B 与 12B QAT 检查点。
量化方案：不用自己的量化，而是原样存储 Google QAT 检查点的 4-bit 编码加每 32 权重一个 scale（约 4.5 bit/权重），每个权重解码结果与 Google QAT 文件的 bf16 值完全一致，可用 glyd verify 对照 sha256 校验（无损是相对 QAT 检查点而言）。
实测速度（单用户、贪心解码、256 token）：
- 31B + RTX 4090：46 tok/s，配 Google 草稿模型后聊天 prompt 78-80 tok/s（可预测文本最高 176）；
- 31B + RTX 3090：26 tok/s；
- 12B + RTX 4080 SUPER：82.5 tok/s，加草稿模型 109。
加草稿模型的贪心输出与不加逐 token 一致。30K prompt 在 4090 上 20 秒；32K 上下文占用 21.8/24.6 GB。质量方面 wikitext-2 平均 KLD 0.018、top-1 96%（差异来自算子求和舍入顺序不同）；GSM8K 72/75、MMLU-Pro 70/75。
限制：仅 Linux + RTX 30 系及以上、纯文本、单请求，尚不支持 26B-A4B/E4B/E2B。下一步计划对 bf16 检查点做无损运行（31B 从 58 GiB 压到 38 GiB）。
「Infra」频道最新
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16
- 中国推「代工厂级 token 工厂」,2026-28 行动计划押注 token 经济 — nordicinst · 2026-10-16
- Vercel Sandbox Drives 正式上线:亚秒挂载 TB 级数据 — cramforce · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16