开发者开源 CUDA 推理引擎 Halocline,单卡 4090 提速逾一倍

开发者 T-Crypt 开源了专为单张 RTX 4090(sm89)打造的 CUDA 推理引擎 Halocline,基于 basalt 改造,支持稀疏与稠密模型,目标是让 ADA 架构用户获得接近 Blackwell 显卡的推理表现,并超越同类引擎。实测在单张 4090 上运行 Qwen4 时速度提升 1.4 至 2.6 倍,引发社区关注。

2026-11-20 ~ 2026-11-20 · 2 条相关