自研 CUDA 引擎 Halocline:单张 RTX 4090 跑 Qwen4,速度提升 1.4-2.6 倍
Distinct-Pie2389 · reddit · 2026-11-20
开发者 T-Crypt 开源了专为 sm89(单张 RTX 4090)打造的稀疏+稠密 CUDA 推理引擎 Halocline,基于 basalt 改造,目标:超越 ninfer+strata 性能、更低 KLD、开发全程透明。仅支持 UD-Q4 及以上量化。
与 Strata 0.2.10 同卡同量化对比:
- 短 prompt 热解码:148–182 tok/s vs 95–101 tok/s(1.6–1.8 倍)
- 36K needle 解码/预填充:123 / 6,298 tok/s vs 68 / 2,403(1.8 倍 / 2.6 倍)
- 137K needle:121 / 5,664 vs 87 / 2,864(1.4 倍 / 2.0 倍)
作者也公开了引擎限制:仅单机单卡验证;门控按 512-token 块打分,看不到长上下文深处的 KV 舍入累积;权重量化与 KV 格式未分离(整体 4-bit 构建 KLD 为 0.0820);稠密路径的 ssm alpha/beta 以 BF16 加载等。与 Ninfer 的对比评测正在陆续上传仓库。
「Infra」频道最新
- 推理算力期货交易所 Touchmark 获 300 万美元种子轮融资 — ycombinator · 2026-11-20
- 分析仪器成中国「卡脖子」新焦点,难度堪比半导体设备 — PAstynome · 2026-11-20
- 753B 参数 GLM-5.3 在两台 NVIDIA DGX Station 上全显存本地运行 — kuchaev · 2026-11-20
- PolyAI 实时对话模型 Dialog-RSN-1 上架 SageMaker JumpStart — AWS ML Blog · 2026-11-20
- 3 张退役 V100 装 $1042 主机跑 Qwen 3.6:128K 上下文快过 $5399 Mac — bittingthembits · 2026-11-20
- 英伟达新季度业绩亮眼,Rubin 芯片在 MLPerf 训练与推理首秀 — TheKanter · 2026-11-20