RTX 4090 自研 CUDA 引擎基准追近 Black卡性能
Distinct-Pie2389 · reddit · 2026-11-20
一位 RTX 4090(ADA 架构)用户开发了名为 halocline 的 CUDA 推理引擎,目标是让 ADA 用户跑出接近 Blackwell 卡的推理表现。引擎同时支持 Dense(27B)与 Sparse(QFN)两条路径,主打质量优先:以更低的平均 KLD 和更高的 BPW 为目标,Dense 路径选用 Q4KXL 配 4bit rotated KV 而非 IQ4XS。
社区基准(airbench.ai)结果:
- QFN:25 分钟完成 49/49,UD-IQ4XS 量化,榜单 #13。
- 27B:1 小时 29 分钟完成 48/49(仅视觉题失败),UD-Q4KXL,成绩与 RTX 5090 上 4 分钟跑完的 NVFP4 quasar 27B 相当,榜单 #65。
非官方基准,作者欢迎其他 ADA 用户交流。项目地址 github.com/T-Crypt/halocline。
所属事件:开发者开源 CUDA 推理引擎 Halocline,单卡 4090 提速逾一倍(2 条相关)→
「Infra」频道最新
- MLX 经 Vulkan 跑出 124 tok/s,同卡速度反超 CUDA 25% — SumitGup · 2026-11-22
- Prime Intellect 遭入侵:托管 DeepSeek 被换成「去审查版」53 小时 — mawcopolow · 2026-11-22
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍 — pmttyji · 2026-11-22
- 千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16% — PuzzleheadedArm3732 · 2026-11-22