Transformers 现可直接运行 llama.cpp GGUF 量化模型,Mac 本地推理提速
LysandreJik · x · 2026-09-22
Hugging Face 宣布 transformers 新增对 GGUF 格式的高效支持,数百万下载量的 llama.cpp 量化 checkpoint 现在可通过熟悉的 frompretrained API 直接加载运行。
- 兼容性:用户可从 Hub 挑选适配笔记本内存的 GGUF 模型(官方 ggml-org 及 Unsloth、LM Studio Community、bartowski 等均提供多档量化版本)。
- 性能:为追平 llama.cpp 的速度,团队通过 kernels 库复用其底层 ggml 内核,并优化 generate 的开销,首批重点聚焦 Apple Silicon 本地推理。
- 背景:GGUF 是 llama.cpp 团队开发的本地推理格式,支撑 Ollama、LM Studio、Jan 等主流本地 AI 工具。文中还引用了 Julien Chaumond 此前在 MacBook 上用 llama.cpp 跑 Qwen3.6 27B 驱动编码 agent 的演示,称接近最新 Opus 的体验。
所属事件:Transformers 原生直跑 GGUF，性能追平 llama.cpp(8 条相关)→
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12