Halocline 引擎跑 Qwen-Flash-Next 达 148-182 tok/s,KLD 仅 0.082

Distinct-Pie2389 · reddit · 2026-11-18

开发者发布 Halocline 推理引擎(单张 RTX 4090,SM89 架构)对 Qwen-Flash-Next UD-IQ4XS v3.1 量化的实测数据:暖机解码 148-182 tok/s,是同类引擎 Strata 0.2.10 的 1.6-1.8 倍。

质量方面,int8 KV 缓存下相对 BF16 的困惑度 3.2323、mean KLD 0.08195、top-1 命中 90.45%;fp16 与 int8 的 paired dKLD 差异仅 +0.00035,几乎无差。长上下文表现:36K needle 测试解码/预填充 123/6298 tok/s(对 Strata 1.8x/2.6x),137K needle 为 121/5664 tok/s,262K 上下文支持。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →