RTX 4090 自研 CUDA 引擎基准追近 Black卡性能

Distinct-Pie2389 · reddit · 2026-11-20

一位 RTX 4090(ADA 架构)用户开发了名为 halocline 的 CUDA 推理引擎,目标是让 ADA 用户跑出接近 Blackwell 卡的推理表现。引擎同时支持 Dense(27B)与 Sparse(QFN)两条路径,主打质量优先:以更低的平均 KLD 和更高的 BPW 为目标,Dense 路径选用 Q4KXL 配 4bit rotated KV 而非 IQ4XS。

社区基准(airbench.ai)结果:

非官方基准,作者欢迎其他 ADA 用户交流。项目地址 github.com/T-Crypt/halocline。

所属事件:开发者开源 CUDA 推理引擎 Halocline,单卡 4090 提速逾一倍(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →