llama.cpp 增加Q2_0量化支持
pmttyji · reddit · 2026-07-08
这个 PR 为 ggml/llama.cpp 增加了 CPU 侧的 Q2_0 量化支持，目标是适配 Ternary Bonsai 1.7B、4B、8B 等 1.58-bit 模型及后续模型。实现目前仅覆盖 CPU，包含 ARM NEON 和通用标量回退。
pmttyji · reddit · 2026-07-08
这个 PR 为 ggml/llama.cpp 增加了 CPU 侧的 Q2_0 量化支持，目标是适配 Ternary Bonsai 1.7B、4B、8B 等 1.58-bit 模型及后续模型。实现目前仅覆盖 CPU，包含 ARM NEON 和通用标量回退。