自研 CUDA 引擎 Halocline:单张 RTX 4090 跑 Qwen4,速度提升 1.4-2.6 倍

Distinct-Pie2389 · reddit · 2026-11-20

开发者 T-Crypt 开源了专为 sm89(单张 RTX 4090)打造的稀疏+稠密 CUDA 推理引擎 Halocline,基于 basalt 改造,目标:超越 ninfer+strata 性能、更低 KLD、开发全程透明。仅支持 UD-Q4 及以上量化。

与 Strata 0.2.10 同卡同量化对比:

作者也公开了引擎限制:仅单机单卡验证;门控按 512-token 块打分,看不到长上下文深处的 KV 舍入累积;权重量化与 KV 格式未分离(整体 4-bit 构建 KLD 为 0.0820);稠密路径的 ssm alpha/beta 以 BF16 加载等。与 Ninfer 的对比评测正在陆续上传仓库。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →