GGUF 模型可直接在 Hugging Face transformers 中运行，Mac 推理提速
pcuenq · x · 2026-09-22
llama.cpp 作者 Georgi Gerganov 宣布：GGUF 格式模型现在可以在 🤗 transformers 中直接运行。这项工作把 ggml 的 Metal 内核带入了 transformers 生态，让数百万次下载的 llama.cpp 检查点无需转换即可使用，并在 Mac 上借助 ggml 内核获得更快的本地推理性能。
- 同一批模型有了更多运行方式，兼容性和性能同步提升
- 相关博客与 ggml kernels 代码已随发布附上
所属事件:Transformers 原生直跑 GGUF，性能追平 llama.cpp(8 条相关)→
「Infra」频道最新
- DeepSeek V4.1 Flash 单卡 3090 跑出 20 tok/s，官方推理栈开源加持 — casper_hansen_ · 2026-11-12
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- Ben Shapiro 公开推荐《The Nvidia Way》,作者直呼没想到 — firstadopter · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12