llama.cpp CUDA PR 带来约5%提升
pmttyji · reddit · 2026-07-16
ggml-org/llama.cpp 合并了一个 CUDA 优化 PR：通过 `__byte_perm` 提取 `Q1_0` 元素。 帖主指出，这个改动让 Bonsai 模型在吞吐上提升约 5%，并且这是昨天讨论线程里提到的第一个开放 PR。
pmttyji · reddit · 2026-07-16
ggml-org/llama.cpp 合并了一个 CUDA 优化 PR：通过 `__byte_perm` 提取 `Q1_0` 元素。 帖主指出，这个改动让 Bonsai 模型在吞吐上提升约 5%，并且这是昨天讨论线程里提到的第一个开放 PR。