turboquant引入DFLASH量化方案加速推理
giveen · reddit · 2026-07-15
开发者giveen向llama-cpp-turboquant项目提交了引入DFLASH量化方案的PR。据称,该方案在Gemma4和Qwen3.6等模型上实现了显著的推理速度提升。
giveen · reddit · 2026-07-15
开发者giveen向llama-cpp-turboquant项目提交了引入DFLASH量化方案的PR。据称,该方案在Gemma4和Qwen3.6等模型上实现了显著的推理速度提升。