一张 RTX 4090 跑满 Qwen3.8-Flash:Geek 自建推理引擎全程实录
Distinct-Pie2389 · reddit · 2026-11-18
项目是什么
Reddit 用户 Dist-Pie2389 开源了 Halocline,一个针对单台机器硬编码优化的推理引擎 fork(上游为 Basalt/Strata 系),只为 RTX 4090(sm89、24GB、350W)服务,且只跑 Qwen 家族。
- 模型:Qwen3.8-Flash-Next(Unsloth UD-IQ4XS 量化,约 93.7GB,官方标称 125B 参数、6B 激活、512 专家、262K 原生上下文)
- 显存策略:专家权重 18.2GiB 驻留 VRAM,38GiB 页锁定在内存,完全不落 SSD
- 砍掉了 4090 跑不了的代码(DeepSeek 路径、多 GPU 分层、FP4 MoE),并从仅支持 Windows 移植到 Linux
质量门禁怎么做
- 编译产物逐函数 SASS 哈希比对:101 个目标、2724 个函数与改动前完全一致
- 每步跑 86 个 CPU 测试 + 122 个 GPU 测试 + 1079 个 Python 服务端测试
- 900/900 token 贪心解码与改动前逐 token 一致
- 以 BF16 为基准做 KLD 散度门禁(wikitext-2,100 段×512 token),基准哈希公开发布在 HuggingFace
关键数据结论
KV 格式对比:int8 是最优解——fp16 置信区间含零无法胜出但预填速度砍半;k8v4/q40 的 KLD 劣化显著。int8 下 131K 长度预填 6019 t/s。
投机解码窗口:窗口 8 最优(结构化输出 266 t/s);窗口 12 的接受长度不再增长,纯属浪费;窗口 5 会拖累结构化输出 11%。
「Infra」频道最新
- Chutes 联手阿里云上线 GLM-5.3 与 DeepSeek V4.1,限时 65 折 — markjeffrey · 2026-11-18
- 美新规冻结 4.8 亿美元贷款,字节马来西亚购买英伟达 GPU 计划受阻 — rohanpaul_ai · 2026-11-18
- GPT-6.2 Astra 只当大脑:同一 3D 场景账单从 7.4 美元降到 1.62 美元 — GapNew4766 · 2026-11-18
- 企业云韧性专家:AI 时代弱云架构的代价被急剧放大 — DavidLinthicum · 2026-11-18
- 哈佛论文:编码 Agent 94.8% token 是重读缓存,能耗高 25 倍 — rohanpaul_ai · 2026-11-18
- 法国团队弃用 vLLM/PyTorch 改写 Rust+CUDA,单 GPU 推理性能暴涨 — IgorCarron · 2026-11-18