新的 GGUF 推理引擎开源
Haghiri75 · reddit · 2026-07-13
作者发布了 **Mann-E 的 GGUF inference engine**，用于在命令行或 Python 后端运行 GGUF 模型。 要点： - 灵感来自此前想找一个类似 **LLaMa.cpp** 的工具 - 作者用 **Claude Fable** 规划、再用 **Grok 4.5** 实现 - 代码与指南已放到 GitHub：`Mann-E/gguf_inference` - 当前对 **Flux** 系列模型支持最好，尤其是 **Flux 2** 和 **Klein** - 作者提到如果有 **8GB VRAM**，就能跑 **Klein 4B** 的量化版本，自己更偏好 **Q4_K_M** - 后续计划支持更多模型，并会尝试更大的 Flux 9B 量化版本 作者也欢迎反馈和贡献。