Transformers 原生直跑 GGUF，性能追平 llama.cpp
9 月 22 日，Hugging Face Transformers 核心维护者 Lysandre 宣布库在 GGUF 支持上完成重要升级：得益于工程师 @marcsun 的工作，Transformers 现在可通过 kernels 库在运行时直接调用 GGML 内核，推理性能达到与 llama.cpp 相同的水平。llama.cpp 作者 Georgi Gerganov 也对外宣布了这一消息，Mac 本地推理随之提速。
已确认
- Transformers 多年前已支持加载 GGUF 文件，但旧方式是「反量化」，即把量化权重还原，性能明显不如原生量化推理
- 现在通过 kernels 库直接调用 GGML 内核，包括 ggml 的 Metal 内核，性能与 llama.cpp 持平
- llama.cpp 社区产出的大量 GGUF 量化 checkpoint（数百万下载量）可通过熟悉的 frompretrained API 直接加载运行，在本地机器上生成
- 加载后即可使用常规 Transformers API，便于调试、评测和自定义生成
- 据 Hugging Face 的 Aritra 介绍，有实测显示 Qwen3.5-27B 在 M2 Max 上的推理表现反超 llama.cpp
为什么重要
- 用户无需再为运行 GGUF 量化模型单独部署 llama.cpp，在 Transformers 单一生态内即可获得同等甚至更优的性能
- llama.cpp 社区积累的量化模型资产被直接接入 Hugging Face 主力库，降低了本地/边缘推理的使用门槛
- 量化模型体积更小，配合熟悉的 API，进一步降低本地部署门槛
2026-09-22 ~ 2026-09-23 · 8 条相关
一手来源
- Transformers 直连 GGML 内核，GGUF 推理性能追平 llama.cpp — LysandreJik ·
- Transformers 原生支持 GGUF：llama.cpp 量化模型可直接加载推理 — ariG23498 ·
- Transformers 原生支持 GGUF:Qwen3.5-27B 在 M2 Max 反超 llama.cpp — Disastrous-Work-1632 ·
- Transformers 现可直接运行 llama.cpp GGUF 量化模型,Mac 本地推理提速 — LysandreJik · 2026-09-22
- Transformers 运行 GGUF 追平 llama.cpp 性能,GGML 内核立功 — LysandreJik · 2026-09-22
- Transformers 直接调用 GGML 内核，性能追平 llama.cpp — LysandreJik · 2026-09-22
- GGUF 模型可直接在 Hugging Face transformers 中运行，Mac 推理提速 — pcuenq · 2026-09-22
- 【源头】Transformers 原生支持 GGUF:Qwen3.5-27B 在 M2 Max 反超 llama.cpp — Disastrous-Work-1632 · 2026-09-23
另有 3 条近重复转述:LysandreJik · LysandreJik · ariG23498