Bonsai 量化与 llama.cpp 上游进展
pmttyji · reddit · 2026-07-15
这条更新主要在讲 **Bonsai-27B / Ternary-Bonsai-27B** 的上游迁移与推理后端支持进展。 ### 上游状态 - **Binary / Q1_0** 已经在 `llama.cpp` 多后端中合并完成，CPU、Metal、CUDA、Vulkan 都可直接使用。 - **MLX（1-bit）** 仍在等待上游合并，临时需要用他们的 fork。 ### Ternary 进展 - Ternary 支持正在逐步迁移进主线 `llama.cpp`，但目前仍是主线和 fork 并存。 - 现在有三种 GGUF 变体需要区分加载： - `Q2_0`：group size 128，当前 demo 使用，兼容 fork，不可直接在主线加载 - `Q2_0_g64`：group size 64，主线官方格式 - `PQ2_0`：计划中的 fork 格式，尚未正式支持 ### 后端迁移状态 - CPU（ARM NEON + generic）已进主线 - Metal 已进主线 - Vulkan 正在上游推进 - CUDA 在 review 中 - x86 AVX-512-VNNI 还待定 ### 性能与限制 - 作者提到若干相关 PR，目标是提升 t/s 和 prefill 表现。 - 也明确提醒：**agentic coding** 不是这批 1-bit / ternary 模型的强项，别对它们期待过高。 - 从模型卡来看，binary 版本保留约 **89.5%** 的全精度平均表现，ternary 版本约 **94.6%**。