Transformers 原生支持 GGUF：llama.cpp 量化模型可直接加载推理
ariG23498 · x · 2026-09-23
Hugging Face 官宣 transformers 库现已原生支持运行 GGUF 模型，用熟悉的 frompretrained API 就能加载 llama.cpp 生态的量化权重，在本地机器上生成。
- 背景：GGUF 是 llama.cpp 团队开发的本地推理格式，Ollama、LM Studio、Jan 等工具都基于其引擎；Unsloth、bartowski 等发布者在 Hub 上提供了大量现成 GGUF 检查点，下载量已达数百万次
- 性能：为接近 llama.cpp 的速度，团队通过 kernels 库复用其底层 ggml 内核，并优化了 generate 的开销，初期聚焦 Apple Silicon 本地推理
- 意义：llama.cpp 生态与 transformers/HF 生态打通，笔记本内存大小的模型可直接用 transformers 工作流跑
文中还引用 Julien Chaumond 的演示：Qwen3.6 27B 在 MacBook Pro 上通过 llama.cpp 跑进 Pi coding agent，效果接近最新 Opus。
所属事件:Transformers 原生直跑 GGUF，性能追平 llama.cpp(8 条相关)→
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12