Prism Bonsai 27B 本地运行教程
FastHotEmu · reddit · 2026-07-15
这条帖子是在分享如何运行 Prism Bonsai 27B，重点是本地下载模型、编译特定版本的 `llama.cpp`，以及启动 `llama-server` 的命令。 要点包括： - 需要下载 `-Q2_0.gguf` 版本；也可以用 `huggingface-cli` 直接拉取。 - 作者给出了在 macOS 上用 `GGML_METAL=ON` 编译的命令；如果是其他平台，也可改用 `GGML_CUDA=ON`。 - 启动时可以通过 `-hf` 直接从 Hugging Face 载入，或在手动下载后用 `-m` 指向本地文件。 - 文中还提到推荐的默认推理参数，如 `--temp 0.7`、`--top-p 0.95`、`--top-k 20`。 整体来看，这是一个偏实操的本地部署教程，而不是对模型能力本身的评测。