一张 RTX 4090 跑满 Qwen3.8-Flash:Geek 自建推理引擎全程实录

Distinct-Pie2389 · reddit · 2026-11-18

项目是什么

Reddit 用户 Dist-Pie2389 开源了 Halocline,一个针对单台机器硬编码优化的推理引擎 fork(上游为 Basalt/Strata 系),只为 RTX 4090(sm89、24GB、350W)服务,且只跑 Qwen 家族。

质量门禁怎么做

关键数据结论

KV 格式对比:int8 是最优解——fp16 置信区间含零无法胜出但预填速度砍半;k8v4/q40 的 KLD 劣化显著。int8 下 131K 长度预填 6019 t/s。

投机解码窗口:窗口 8 最优(结构化输出 266 t/s);窗口 12 的接受长度不再增长,纯属浪费;窗口 5 会拖累结构化输出 11%。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →