RTX 3070 本地跑 Qwen3.8 量化版：1000 tps 预填充完整配置公开
SetNo7692 · reddit · 2026-10-24
Reddit 用户分享在平价硬件（Ryzen 5 5600 + 64GB 内存 + 二手 100 欧元的 RTX 3070）上用 Strata 引擎运行 Qwen3.8-FN IQ3S 量化的配置与实测：预填充约 1000 tps，解码约 40 tps，支持 262K 上下文、int8 KV cache 和视觉输入。
关键优化点：
- STRATAHCQ8：量化 hyper connection 矩阵，腾出更多显存装专家权重（轻微精度损失），是预填充提速的主因之一
- prefill CPU share：让 CPU 分担预填充计算
- 自制 q8 n-gram 表替代自带 iq4nl 表；spec 解码设为 4
- gpu-unlock 工具仅带来 50-100 tps 预填充提升，3060 用户收益可能更大
作者对比原版配置约有 500 tps 预填充提升，完整 JSON 配置已在帖中公开。
「Infra」频道最新
- 视频生成模型 int8 量化实测：12GB 显存即可流畅运行 — cocktailpeanut · 2026-10-24
- Modal 联手 Sakana 将 Namazu API 优化到内核级,NVFP4 量化+KV 路由 — blelbach · 2026-10-24
- 半导体圈热议:高数值孔径 EUV 对台积电 18A/16A 节点是否划算 — pstAsiatech · 2026-10-24
- Intel 显卡 B60/B65/B70 一日暴涨 30%,B70 冲至 1840 美元 — SamSausages · 2026-10-24
- RTX 30 系 GPU Unlock 实测:3090 Ti 跑 ComfyUI 出图吞吐最高提升 59% — under-_-null · 2026-10-24
- Cloudflare 用自研 CPU profiler 让 Workers 可观测性开销降 50% — irvinebroque · 2026-10-24