硬核玩家为单张 4090 定制推理引擎:解码提速近倍还公开全部验证门

Distinct-Pie2389 · reddit · 2026-11-18

作者基于 Strata→Basalt 谱系做了只针对自己一台机器(RTX 4090 24GB + i9-14900K,Arch Linux)的引擎 fork「Halocline」,跑 Qwen3.8-Flash-Next(Unsloth IQ4XS),主张「LLM 托管的未来是为自己的硬件定制引擎」。

主要改动与验证方法:

与 Strata 0.2.10 同卡同量化对比:短 prompt 解码 148-182 vs 95-101 tok/s;36K needle 解码 123 vs 68 tok/s,prefill 6298 vs 2403 t/s。整体解码提速约 1.5-1.8 倍。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →